1、第二章 标准线性回归模型n回归(regression)的含义 英国统计学家Galton和其学生Pearson研究父母身高与其子女身高的遗传问题,观察了1078对父母,以每对父母身高为x,取他们一个成年儿子的身高为y,将结果绘成散点图,发现趋势近乎一条直线(父母平均身高68吋,成年儿子平均身高69吋):y=33.73+0.516x 可以发现:x=72吋,y=70.89吋;x=64吋,y=66.75吋;一、回归模型的思想n经济变量之间的关系有两类:确定性关系和非确定性关系,所谓确定性关系是指一个变量的变化能完全决定另一个变量的变化:价格一定时,销量与销售额 利息率一定,存入本金与到期本息 一、回归
2、模型的思想 一、回归模型的思想n更多出现的情况是:存在密切联系但并非完全决定 居民收入与消费密切相关,但不能完全决定消费 广告费支出与销售额密切相关,但不能完全决定销售额一、回归模型的思想n不完全决定的原因在于:v还有其他影响因素 一、回归模型的思想n将数据点的分布理解为如下机制所产生的结果:为随机干扰项为自变量或解释变量为因变量或被解释变量iiiiiiuXYuXY10一、回归模型的思想n随机干扰项的意义 将各种次要变量作了综合处理,保证了分析的可操作性一、回归模型的思想n假定随机干扰项的均值为0,则有:n回归模型的目标就是用样本数据估计出参数的值,据此就可以根据X的变化估计Y的平均变化 ii
3、iiiXXYEXYE1010|一、回归模型的思想二、参数估计方法二、参数估计方法二、参数估计方法n通常采用最小二乘法(Least Square Estimation)来得到参数的估计量n其目标函数是:iiiiiXYXYEY10min|min niiniiieXY02,0210,1010minmin二、参数估计方法(X Xn n ,Y Yn n)(X X1 1 ,Y Y1 1)(X X2 2 ,Y Y2 2)(X Xi i ,Y Yi i)iiiYYeXY10Y X 二、参数估计方法n满足目标函数的参数值记为 :10,niiiXYniiXXXXXYYYXXlXXlllXY112110,二、参数估
4、计方法n多元回归模型nnknnnniikniiiknknuXXXYuXXXYuXXXYuXXXY 221102211022222211021112211101二、参数估计方法n模型的矩阵表示11112122122212011211 1 kknnnnkknYXuYXXXYXXXYXYXXXuuuu二、参数估计方法YXXX1回归模型iiiiiiiiXYXXYEuXY101010uXYYXXXXYXXYE1三、不确定性的测度n不确定性知识 +所含不确定性量度的知识 =可用的知识 C.R.Rao三、不确定性的测度三、不确定性的测度三、不确定性的测度1)无偏性 假设:X是非随机的设计矩阵n无偏性意味着估
5、计量没有高估或低估的系统倾向 E三、不确定性的测度2)方差n含义:估计量方差与随机项方差、自变量取值范围、样本量等有关 2122012211varvarniiniiXXXnXX三、不确定性的测度 12covXX 121111111111covXXXXXuuEXXXXXXuuXXXEuXXXuXXXEuXXXXuXXXXEYXXXYXXXEE三、不确定性的测度 假设:Gauss-Markov条件 222000000covu 0uE三、不确定性的测度2102200211cov1,XXXXXXlXlXnNlN三、不确定性的测度对回归系数进行检验n检验目标:n检验统计量为:0010iiHH:XXlN2
6、11,2/1ntlstXX三、不确定性的测度 F检验总平方和(SST)=残差平方和(SSR)+回归平方和(SSE)00,0,01210:不全为:HHkSSESSRYYYYYYYYYYYYYYYYYYSSTiiiiiiiiiiiii2222222三、不确定性的测度n如果随机项满足Gauss-Markov条件,则原假设成立时有:11knkFknSSRkSSEF,三、不确定性的测度 1112covcove eu P PuPe eu PuE e eE uIX X XXuxnE XXAn nE x Axtr AAE e etrIX X XXutr IX X XX 是投影阵根据如下定理:设 为 维随机向量
7、,期望和协方差存在,记,若 为常数阵,则三、不确定性的测度11122212kneekneeEknXXXtrXtrIeeE四、假设下估计量的最优性质 最小二乘估计量是所有对总体参数的线性无偏估计量中方差最小的 但并不意味着就是方差最小的估计量BLUE是(Best Linear Unbiased Estimator)四、假设下估计量的最优性质n证明 的最小二乘估计是维向量,是任一,其中无偏估计为的最小方差的任一线性函数时,假定12kcccIYDXYE bXXXXbcXXccbbbYDbYbcXbcXbYbEcYb12122varvar又因为:则有有:则对一切的任一线性无偏估计,是设四、假设下估计量
8、的最优性质 0varvar,varvarvarvar211212122cYbPPPPXXXXIbXXXXIbcYbbXXXXbcXXccbbbYDbYbcXbcXbYbEcYb投影矩阵为非负定阵)为投影矩阵(又因为:则有有:则对一切的任一线性无偏估计,是设模型的基本假定1)如果样本量为n,解释变量数量为k,则2)自变量之间不存在密切的线性关系 存在完全线性关系 1 kn0ijXX模型的基本假定n要获得估计,必须能够求逆,要求:YXXX1 111,min10knkXrkkXXrkBrkArkABrkkXXXX由阶满秩矩阵为模型的基本假定3)Gauss-Markov条件4)随机项服从正态分布5)X是非随机的设计矩阵 222000000covu 0uE模型的基本假定n如果当X取值不同时,随机项的方差不同,出现异方差问题n如果不同期的随机项具有相关关系,出现序列相关问题n如果自变量之间具有密切线性关系,出现共线性问题