1、一元线性回归分析基础计量经济学 第一章 第一章 一元线性回归分析基础2022年7月21日星期四重点问题 参数的最小二乘估计 最小二乘估计的性质 参数估计的检验 预测第一章 一元线性回归分析基础2022年7月21日星期四主要内容 第一节 模型的假定 第二节 参数的最小二乘估计 第三节 最小二乘估计量的性质 第四节 系数的显著性检验 第五节 预测和预测区间第一章 一元线性回归分析基础2022年7月21日星期四第一节 模型的假定 各种经济变量之间的关系，可以划分为两种类型。一类是变量之间有惟一确定的关系，即函数关系，可表示为：F(X1，X2，Xn，Y)=0 (11)或 Y=f(X1，X2，Xn)(1
2、2)其中，最简单的形式为一元线性函数关系 Y=PX (13)另一类关系为不完全确定的相关关系,表示为：F(X1，X2，Xn，Y，u)=0 (14)第一章 一元线性回归分析基础2022年7月21日星期四第一节 模型的假定 或 Y=f(X1，X2，Xn，u)(15)其中最简单的形式为一元线性回归模型 Y=1+2X+u (16)计量经济学只讨论变量之间不完全确定的关系，如式(14)或式(15)所表示的关系。如式(16)所表示的关系式，称为一元线性回归模型。“一元”是指只有一个自变量X，这个自变量X可以解释引起因变量Y变化的部分原因。因此，X称为解释变量，Y称为被解释变量，1和2为参数。第一章 一元线
3、性回归分析基础2022年7月21日星期四第一节 模型的假定 “线性”一词在这里有两重含义。它一方面指被解释变量Y与解释变量X之间为线性关系，另一方面也指Y与参数1、2之间为线性关系。在数理统计学中，“回归”通常指散布点分布在一条直线(或曲线)附近，并且越靠近该直线(或曲线)，点的分布越密集的情况。“模型”一词通常指满足某些假设条件的方程或方程组。第一章 一元线性回归分析基础2022年7月21日星期四第一节 模型的假定 与精密数学中的函数关系相比，回归模型式(14),式(15),式(16)中的显著特点是多了误差项u。产生误差项的原因主要有以下几方面：1.忽略掉的影响因素造成的误差 2.模型关系不
4、准确造成的误差 3.变量观察值的计量误差 4.随机误差 误差项的存在是计量经济学模型的特点，是计量经济学模型与精密数学中完全确定的函数关系的主要区别。第一章 一元线性回归分析基础2022年7月21日星期四第一节 模型的假定 经典的一元线性回归模型 Yt=1+2Xt+ut (t=1,2,，n)(17)通常要满足五个假设条件：假设1 误差项ut的数学期望(均值)为零，即 E(ut)=0 (t=1,2,，n)(18)假设2 误差项ut的方差与t无关，为一个常数，即 var(ut)=E(ut-E(ut)2)=E(ut2)=u2(t=1,2,，n)(19)假设3 不同的误差项ut和us之间互相独立，即
5、cov(ut,us)=E(ut-E(ut)(us-E(us)=0 (110)第一章 一元线性回归分析基础2022年7月21日星期四第一节 模型的假定 (ts;t=1,2,n;s=1,2,n)或 E(utus)=0 (111)假设4 解释变量Xt与误差项ut不相关，即 cov(Xt,ut)=E(Xt-E(Xt)(ut-E(ut)=E(Xt-E(Xt)ut)=0 (t=1,2,，n)(112)假设5 ut为服从正态分布的随机变量，即 utN(0,u2)以上五个假设条件称为经典假设条件。综上所述，一元线性回归模型可以归结为 Yt=1+2Xt+ut(t=1,2,，n)(113)第一章 一元线性回归分析
6、基础2022年7月21日星期四第一节 模型的假定 E(ut)=0 cov(ut,us)=0 (ts；t,s=1,2,n)var(ut)=u2 (常数)cov(Xt,ut)=0 utN(0,u2)第一章 一元线性回归分析基础2022年7月21日星期四第二节 参数的最小二乘估计 拟合准则：1使 达到最小值 2使 达到最小值 3使 达到最小值 4使 达到最小值 ntttYY1ntttYY1)(ttYYmax21)(ntttYY 第4种准则，由于逐项平方，不存在正负抵消的问题。它不仅考虑了所有点的影响，而且具有无偏性，是一个很好的准则。这个准则称为最小二乘准则。用最小二乘准则寻找拟合直线的方法称为最小
7、二乘法。第一章 一元线性回归分析基础2022年7月21日星期四第二节 参数的最小二乘估计为简化表达式，从本节起，在不会发生误解的情况下，略去求和指标t求和的上下限。只要求和符号没有上下限，就表示为从t=1到t=n求和。即用求和符号代替符号nt1假设估计直线：Y=*+*X*，*为参数估计当X=XtYt=*+*Xt(Xt,Yt)(Xt,*+*Xt)残差：et=Yt-(*+*Xt)误差：ut=Yt-(+Xt)残差平方和：Q=et2=Yt-(*+*Xt)2第一章 一元线性回归分析基础2022年7月21日星期四第二节 参数的最小二乘估计 22()():0,0:20 20 ttttttttOLSordin
8、ary least squaresQQQYXYXXYXX YnXYXnX 最小二乘法求出参数估计量使达到最小值.正规方程:即第一章 一元线性回归分析基础2022年7月21日星期四第二节 参数的最小二乘估计 222222:XXttYYttXYttttXXXYXYXXSXXXnXSYYYnYSXXYYX YnXYSSSS 定义 则式变为:YX第一章 一元线性回归分析基础2022年7月21日星期四第二节 参数的最小二乘估计XYX-Y)XX()YY)(XX(*2ttt*估计的回归方程：最小二乘估计第一章 一元线性回归分析基础2022年7月21日星期四第二节 参数的最小二乘估计 在数理统计中，通常把研究
9、对象的全体称为总体。把总体中的每个元素称为个体。从总体中随机抽取的一组个体称为样本。抽取的个体数，称为样本容量。从总体中抽取样本的过程称为随机抽样。总体有限总体无限总体任何样本都是有限的 第一章 一元线性回归分析基础2022年7月21日星期四第三节 最小二乘估计量的性质 一、线性特性 是指参数估计值*1和*2分别为观察值Yt或扰动项ut的线性组合。证：*2=Xtyt/Xt2 =Xt(Yt-)/X2t =（Xt/Xt2）Yt 令 bt=（Xt/Xt2）得 *2=bt Yt 即*2 是Yt的线性组合Y第一章 一元线性回归分析基础2022年7月21日星期四第三节 最小二乘估计量的性质 *2=btYt
10、 =bt(1+2Xt+ut)=1bt+2btXt+btut 其中：bt=(Xt/Xt2)=Xt/Xt2=0 btXt=(Xt/Xt2)Xt=(Xt(Xt+)/Xt2)=1 所以 *2=2+btut即*2也是ut的线性组合 X第一章 一元线性回归分析基础2022年7月21日星期四第三节 最小二乘估计量的性质 *1=-1 =(1/n)Yt-btYt =(1/n)-btYt令 at=(1/n)-bt由于和bt均为非随机变量，所以at也是非随机变量。因此 *1=atYt即*1是Yt的线性组合。YXXXX第一章 一元线性回归分析基础2022年7月21日星期四第二节 参数的最小二乘估计 *1 =at(1+
11、2Xt+ut)=1at+2atXt+atut其中：at=(1/n)-bt=1-bt=1atXt=1/n-btXt =(1/n)Xt-btXt =0所以*1=1+atut即*1也是ut的线性组合XXXX第一章 一元线性回归分析基础2022年7月21日星期四第三节 最小二乘估计量的性质二、无偏性 指*1和*2 的期望值分别等于总体参数1和2。即E(*1)=1 E(*2)=2 E(*2)=E(2+btut)=2+btE(ut)=2 E(*1)=E(1+atut)=1 第一章 一元线性回归分析基础2022年7月21日星期四第三节 最小二乘估计量的性质三、最优性 指最小二乘估计*1和*2在各种线性无偏估
12、计中，具有最小方差。1.先求*1和*2的方差 var(*2)=var(btYt)=bt2 var(1+2Xt+ut)=bt2 var(ut)=(Xt/Xt2)22=2/Xt2 var(*1)=var(atYt)=at2 var(1+2Xt+ut)=at2 var(ut)=(1/n)-bt22 =2(1/n+2/Xt2)XX第一章 一元线性回归分析基础2022年7月21日星期四第三节 最小二乘估计量的性质2.证明最小方差性 假设*2是其他方法得到的关于2的线性无偏估计 *2=ctYt 其中，ct=bt+dt，dt为不全为零的常数 则容易证明 var(*2)var(*2)同理可证明1的最小二乘估计
13、量*1具有最小方差。高斯马尔可夫定理(Gauss-Markov theorem)：满足性质1、2、3的最小二乘估计量是最优线性无偏估计量（best linear unbiased estimator：BLUE）第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验一、误差项方差估计 对比总体回归模型和样本回归模型，可以看出，残差et可以看做误差项ut的估计值。计算如下：22222222:,2 (1)(2)(3)tttttttttttttttYXueYYYYuubXXeuuuubXXbXX 的估计量模型:包含三个未知参数第一章 一元线性回归分析基础2022年7月21日星期
14、四第四节 系数的显著性检验 2222222222222223,(2)2,(1)1(1),(2),(3)122:2,XXXXttESEEnSEenneSnE SS 由定义则即是的一个无偏估计第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验二、参数估计的显著性检验 在上一节中，已经证明，由于最小二乘估计*1和*2 具有线性特性，所以*1和*2均为Yt的线性组合。因为Yt服从正态分布，所以作为Yt的线性组合的*1和*2也服从正态分布。由无偏性，证明了*1和*2的期望分别为总体参数1和2。在证明最优性的过程中又得到*1和*2的方差。第一章 一元线性回归分析基础2022年7
15、月21日星期四第四节 系数的显著性检验因此，可以得到*1和*2的抽样分布为),(),(222*22221*1tuttuXNXnXN 由于真实的2不知，用它的无偏估计量S2=et2/(n-2)替代时，可构造如下统计量：第一章 一元线性回归分析基础2022年7月21日星期四)2(*2222*222*ntSXStt 检验步骤：检验步骤：（1）对总体参数提出假设 H0：2=0，H1：20（2）以原假设H0构造t统计量，并由样本计算其值*2*2St 第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验（3）给定显著性水平，查t分布表，得临界值 t/2(n-2)(4)比较，判断
16、若|t|t/2(n-2)，则拒绝H0，接受H1；若|t|t/2(n-2)，则拒绝H1，接受H0；对于一元线性回归方程中的1，可构造如下t统计量进行显著性检验：)2()(*1*12221*1ntSXnXSttt第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验三、总体参数的置信区间 总体参数1和2的置信区间分别为*2*2*1*1)2()2()2()2(2/*222/*22/*112/*1SntSntSntSnt和第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验四、决定系数)Y-(Y)Y-Y(Y-YYtttt，再求和得上式两边减去ttteY
17、Y 由样本回归模型和样本回归方程，可以得到 这个恒等式把被解释变量的总偏差分解成相应的可解释偏差(回归偏差)和残差(随机偏差两部分之和，如下图：第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验ttYY 图15被解释变量偏差的分解 XXtOYXyttYY Yt第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验记2)(YYTSSt总体平方和总体平方和（Total Sum of Squares）)(YYESSt回归平方和回归平方和（Explained Sum of Squares）2)(ttYYRSS残差平方和残差平方和（Residual S
18、um of Squares）TSS=ESS+RSS可以证明第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验ttt2t1tt212222X)X()()()()(2)()()()()(YYYYYYYYYYYYYYYYYYYYttttttttttttt其中：由正规方程组00tttX第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验所以0)()()(222ttttYYYYYY即TSS=ESS+RSS Y的观测值围绕其均值的总离差总离差(total variation)可分解为两部分：一部分来自回归线一部分来自回归线(ESS)，另一部另一部分则来
19、自随机势力分则来自随机势力(RSS)。在给定样本中，TSS不变，如果实际观测点离样本回归线越近，则ESS在TSS中占的比重越大。第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验因此定义：222)()(YYYYTSSESSRtt表示拟合的程度，因此称为决定系数(coefficient of determination)或拟合优度。在相关分析中R2 也称为复相关系数。0R2 1第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验五、相关分析 通常把相关分析作为回归分析的补充分析方法。相关分析分为线性相关与非线性相关，如果样本点集中分布在一条直
20、线附近，则两变量的关系称为线性相关。当直线的斜率为正值，两变量的关系称为正线性相关。当直线的斜率为负值，两变量的关系称为负线性相关。如果样本点集中分布在一条曲线附近，则两变量的关系称为非线性相关。第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验 线性相关：通常用相关系数表示X和Y的相关程度 2222)var()var(),(ttttttttXYyxyxnynxnyxyXYXCOVrrXY为X与Y的简单相关系数(只有两个变量相关的相关系数)，同时也是样本相关系数 第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验总体相关系数)var()v
21、ar(),(YXYXCOVXY-1 1=0，表示总体X与Y不相关；0，表示总体X与Y在一定程度上相关；=1，表示总体X与Y完全正相关或完全负相关。第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验X与Y总体是否相关的检验提出假设：H0=0 H1 0 构造统计量2n1)2(2rSntSrtrr其中：第一章 一元线性回归分析基础2022年7月21日星期四第四节 系数的显著性检验六、相关分析与回归分析的联系2RrYX 决定系数R2与相关分析中的简单相关系数rXY之间的关系 简单相关系数rXY与回归分析中的参数估计*2的关系)var()var(*2XYrXY第一章 一元线性
22、回归分析基础2022年7月21日星期四第五节 预测和预测区间一、预测的点估计根据样本回归方程ttXY21对原样本外的任意解释变量X0，可得到tXY210因为：的无偏估计值。是即)()()()(0000210210YEYYEXXEYE第一章 一元线性回归分析基础2022年7月21日星期四第五节 预测和预测区间的无偏估计值。不是可见00000210210)()(YYYXXEYE)(0)(0000YYYYE即二者之差值得注意：但是 在多次观察中，平均值趋向于零，从这个意义上是合理的中心区来估计用0000间作为，并且用YYYY第一章 一元线性回归分析基础2022年7月21日星期四第五节 预测和预测区间
23、二、预测的区间估计 1.E(Y0)的置信区间)()()(var(2000000YYEEYYEEYYE因为0)()()(0000YEYEYYEE 所以)(2)()()()()var()()(var(221102220211202211020000EXEXEXEYYYEEYYE第一章 一元线性回归分析基础2022年7月21日星期四第五节 预测和预测区间因为22202022202221211)var()()var()(tttxXXEXxnXE又因为ttttttbbXna2211)1(第一章 一元线性回归分析基础2022年7月21日星期四第五节 预测和预测区间所以220201,1201,1200221
24、1012)1(2)()1()()1(2)1()1(2)()1(2)(2tttbXbnXbbXnXEbbXnEbbXnXbbXnbbXnEXbbXnEXEXtttsnststtttntttsnststtttnttttttt第一章 一元线性回归分析基础2022年7月21日星期四第五节 预测和预测区间又因为2210tttxbb 所以202211022)(2txXXEX所以)(1()var()()(var(2202020000txXXnYYYEEYYE上式中，常用样本方差S2代替总体方差2进行计算第一章 一元线性回归分析基础2022年7月21日星期四第五节 预测和预测区间1)var()2()()var
25、()2()(02000200YntYYEYntYPYE的置信区间为2.Y0的预测区间)()(2)()()()()()()()()var(0021021220210212021002120020000000XXEEXXEXXEYYEYYEYYEYY第一章 一元线性回归分析基础2022年7月21日星期四第五节 预测和预测区间因为)(2)(2)(2)(2)()(2)()(2)()(1)var()()()(020010200100210021021222202020020210210EXEEXEEXXXEExXXnYYEYEXXEt第一章 一元线性回归分析基础2022年7月21日星期四第五节 预测和预
26、测区间ttttba2211)(2)(2)(200101ttttEaaEE0),cov()(00ttE又因为所以由经典假设条件 （t0）所以0)(201E第一章 一元线性回归分析基础2022年7月21日星期四第五节 预测和预测区间0)(202E0)()(20021021XXE)(11()var(220200txXXnYY同理即所以上式中，常用样本方差S2代替总体方差2进行计算1)var()2()var()2(0020000200YYntYYYYntYPY 的置信区间为第一章 一元线性回归分析基础2022年7月21日星期四第五节 预测和预测区间三、影响预测区间大小的因素 (1)误差项ut的方差或标
27、准差的大小。这是随机影响因素，由总体决定。(2)样本容量n的大小。(3)x2t的大小 (4)20)(XX 的大小 多元线性回归分析计量经济学 第二章 第二章 多元线性回归分析2022年7月21日星期四重点问题 参数的最小二乘估计参数的最小二乘估计 最小二乘估计量的性质最小二乘估计量的性质 参数估计式的分布特性与检验参数估计式的分布特性与检验 多重共线性多重共线性第二章 多元线性回归分析2022年7月21日星期四主要内容 第一节第一节 模型的假定模型的假定 第二节第二节 参数的最小二乘估计参数的最小二乘估计 第三节第三节 最小二乘估计量的性质最小二乘估计量的性质 第四节第四节 参数估计式的分布特
28、性与检验参数估计式的分布特性与检验 第五节第五节 多重共线性多重共线性 第六节第六节 预测预测第二章 多元线性回归分析2022年7月21日星期四第一节 模型的假定模型 tktktttXXXY.33221矩阵形式UXY其中kYYYY21k21knkknnXXXXXXXXXX213232223121111kU21第二章 多元线性回归分析2022年7月21日星期四第一节 模型的假定nk(X)(5)IN(0,U)4(X)3(I)UU(E)2()(E)(E0)U(E)1(n2n2Tn1为确定的矩阵即对每个元素取期望模型假设：In为n阶单位阵第二章 多元线性回归分析2022年7月21日星期四第二节 参数的
29、最小二乘估计残差向量XYYYe残差平方和)()(12XXXYYXYYXYXYeeeTTTTTTTntt022)(XXYXeeTTT*式*为正规方程组，包含k个方程式第二章 多元线性回归分析2022年7月21日星期四第二节 参数的最小二乘估计YXXXTT1)(由假设条件可以证明XTX是正定的，即XTX0则最小二乘估计：第二章 多元线性回归分析2022年7月21日星期四第三节 最小二乘估计量的性质)()()()()(11UEXXXEUXXXEETTTT一、最小二乘估计的特性1.线性特性2.无偏性UXXXUXXXXYXXXTTTTTT111)()()()(第二章 多元线性回归分析2022年7月21日
30、星期四第三节 最小二乘估计量的性质3.最优性1T21TT1T21TTT1T1TTT1TTT1TT1TT1T)XX()XX(X)XX()XX()(E(UUX)XX()XX(UUX)XX(EU)X)XX(U)(X)XX(E()var(UX)XX()()var(XXXET所以因为第二章 多元线性回归分析2022年7月21日星期四第三节 最小二乘估计量的性质DUXXXDUUXXXDXUXDXXXYDXXXDXIDXYDEEDYEDYYDXXXTTTTTTTTkTTU)()()()()(0DX)()()()()(E0D0D)(1*111*1*所以，而由无偏性，始终。因此时，只有，因此一般情况下的线性特性
31、由的一个线性无偏估计，为总体参数矩阵设第二章 多元线性回归分析2022年7月21日星期四第三节 最小二乘估计量的性质TuTuTuTuTTuTuTuTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTDDDDXXXXDXDXXXDDXXXXXUUEDDUUEXXXDUUEDXXXUUEXXXXXXDUUDUUXXXDDUUXXXUUXXXEDUXXXUDUUXXXEDUUXXXDUUXXXEEEEE22121212212111111111111*)var()()()()()()()()()()()()()()()()()()()()()()()()()()var(第二章 多元
32、线性回归分析2022年7月21日星期四第三节 最小二乘估计量的性质的方差最小。即最小二乘估计的相应主对角线元素。不大于的所有主对角线元素所以。大于等于的所有主对角线元素均是半正定矩阵，上式右边第二项)var()var(0DDDD*TT第二章 多元线性回归分析2022年7月21日星期四第三节 最小二乘估计量的性质二、误差项方差估计 MUeXXXXIUXXXXIUXXXXXUXUXXXXXUXYXXXXYXYeeTTnTTnTTTTTT可以得到定义可表示为残差11111)(M)()()()()()(:即e是U的线性变换。其中，M称为最小二乘基本等幂矩阵。第二章 多元线性回归分析2022年7月21日
33、星期四第三节 最小二乘估计量的性质 M的性质：（1）对称性 MT=M（2）等幂性 Mn=M（3）M与X互相独立 MX=0第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验一、参数估计式的分布特性 )(,()(),0(1212XXNUXXXINUTuTTnu可以得到由假定：在多元线性回归分析中，除了要进行与一元线性回归分析中类似的单个参数的检验，还要检验多个解释变量对被解释变量Y的共同影响是否显著。通常构造F统计量进行这些检验。第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验knMtrMMtrMeeeeeeuu)()()()(
34、M)2()1(F2222由上节结论可以得到是等幂矩阵，则，如果由矩阵的秩的特性可知分布服从首先证明的分布互相独立。与分布；服从统计量，必须证明：为了构造第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验PVUVnPUMPPnnMkn作线性变换得到的，即随机变量列矩阵维对一个看做利用正交矩阵如果把误差项维正交矩阵，满足并且存在一个为一个降秩矩阵，幂矩阵因此，最小二乘基本等10001011第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验)()(0)(),0()()()(22122221122221knVeekneeNVuVPPP
35、VVVVMPPVPVMPVMUUeekntutuuuuttkn因此方和。独立正态分布变量的平的满足，方差为各均值为为所以，有相同的方差与所以单位向量，两两正交，中的行向量都是和也是正交矩阵，并且由正交矩阵的性质，那么，由第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验的分布互相独立与即的分布互相独立，与因此，的分布互相独立与证明0)()()()()()()()()(),cov(112111eeeXXXXXXXIXXXUUEMXXXUMUEUXXXMUEeEEeEeEeeenu第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验
36、二、参数的线性约束检验与置信区间RXXRRRRRERRRRERERRERERRRErRqRRkqqrkqRrRu12)()var()()()()()var()()(.1。中参数约束的各种检验可以构造出对的定义形式，与。这样只要改变为满秩矩阵，即假设列向量，显然为矩阵，为已知的式中，设第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验),()()()(21knqFSqRRRXXRRRFR可以证明也服从多元正态分布以服从多元正态分布，所1.的置信区间),()()()(,1),(11knqqSFRRRXXRRRRknqFFP的置信区间为并且对于显著性水平当 R=Ik
37、，可以得到的置信区间第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验2.的检验（1）参数的整体检验问题H0 2=3=k=0 H1 存在某个i0,2ik 000H),1(H),1(),1()()1(H使拒绝，当接受当下可以证明在knkFFknkFFknkFknRSSkESSF第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验（2）单个参数的检验问题 H0 i=0 H1 i0 020221220H)(H)()()(),1()(),1(H时拒绝，当时接受当量验时，一般用下面统计所以对单个参数进行检因为个元素。主对角线上第为矩阵下可
38、以证明在knttknttkntaStkntknFiXXaknFaSFiiiiiiii第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验三、相关分析22222)()(YYYYyyRtttt记为复相关系数或决定系数 相关系数也可以表示为222221ttttyeyyR 相关系数R2有一个显著特点：如果观察值 Yt不变，决定系数 R2将随解释变量的数目增加而增大。第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验)1()(1222nykneRtt 定义为修正的决定系数修正的决定系数比一般决定系数更准确地反映了解释变量对被解释变量的影响
39、程度。因此在一般情况下，修正的确定系数比R2应用更广泛。22222222222,01,0,01)1)(1()1)(1(1)1(1RRRknkRknkRRknnyeknnRRRtt所以由于关系：与注：修正的决定系数可能为负值第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验四、单因素方差分析1.单因素方差分析的模型)(),2,1;,2,1(0),cov(),0(2qjpinjkieeNeeYipqijijijiij或其中，i为第i个水平下Yij的总体均值。eij为Yij与均值之差。2为Yij的方差，方差为常数。k为因素A的水平数量。ni为从第i个水平Ai中抽取的
40、样本数量。ijiijiikiikiiikiikiiieYnnnnnn则模型也可以表示为其中：定义1111第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验2.单因素方差分析的检验H0 12k VS H1 i不全相等kinjiijkiiikinjikinjijkinjijikiinjijiiiiiiiiYYRSSYYnYYASSYYTSSYnnYnYYnYA112121121121111)()()(A)(111差平方和随机误差引起的组内离引起的组间离差平方和因素总离差平方和样本的总平均值的样本均值假定每个水平第二章 多元线性回归分析2022年7月21日星期四第四
41、节 参数估计式的分布特性与检验 定义统计量000H),1(H),1(),1(H)()1(时，拒绝假设当时，接受假设，当如果给定显著性水平成立的条件下可以证明在knkFFknkFFknkFFknRSSkASSF第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验五、方差分析、相关分析和回归分析的关系方差分析方法也可以应用在回归分析中。把由因素 A引起的组间离差平方和ASS换成回归平方和 ESS，把由随机因素引起的组内离差平方和 RSS换成残差平方和 RSS。把 k 由代表水平数目换成代表参数数目。FkknFkRRRkknTSSRSSTSSESSkknknRSSkE
42、SSFF)1()()1(111)()1(222所以统计量的构造用于回归分析检验第二章 多元线性回归分析2022年7月21日星期四第四节 参数估计式的分布特性与检验六、用逐步引入法选择解释变量 基本思想：借助回归分析的方差分析方法，对总变差中由新增加的解释变量所带来的增加的可解释部分的方差比进行F检验，以决定新引入的解释变量的取舍。见69页例2-2第二章 多元线性回归分析2022年7月21日星期四第五节 多重共线性多重共线性指解释变量之间存在比较强的线性相关关系。一、多重共线性造成的影响1.如果解释变量之间存在完全多重共线性，无法得到参数估计式。2.严重多重共线性，即XX0时，具有下列影响(1)
43、大大降低预测精确度由于|XX|0，引起(XX)-1主对角线元素较大，使参数估计值的方差增大，OLS参数估计量非有效。参数估计量非有效。12)()var(XXu的协方差矩阵第二章 多元线性回归分析2022年7月21日星期四第五节 多重共线性 (2)发生弃真错误 由于 的方差很大，在进行显著性检验时t统计量明显偏小，即使决定系数R2及F统计量很大，也容易淘汰一些不应淘汰的解释变量。(3)造成错误的模型关系 由于严重多重共线性是指解释变量之间有强线性相关关系。因此，不同解释变量对被解释变量的影响会发生互相代替的情况。如果采用逐步引入法选择解释变量，已经引入并且经检验证明显著的解释变量的数值就会变小，
44、t数值下降，变为不显著的，甚至出现参数符号改变的情况。原来模型中与被解释变量正(负)相关的解释变量，由于新解释变量引入，变为负(正)相关，从而造成错误的模型关系。(4)建立的回归模型的可靠程度降低 参数估计值及其方差对样本很敏感，由于增加或减少一些样本，参数估计值及其方差发生很大变化，因而建立的回归模型的可靠程度降低。第二章 多元线性回归分析2022年7月21日星期四第五节 多重共线性二、多重共线性的检验1.相关系数检验法 对样本中任何两个不同解释变量求简单相关系数，如果相关系数r的绝对值比较大，例如|r|0.8，或|r|0.9，就可以认为这两个样本之间高度相关，因而样本存在多重共线性。2.逐
45、步分析检验法 这种检验方法首先对各种可能的多元线性回归模型分别进行参数估计和检验。先引入经济意义明显，并且统计上最显著的解释变量，然后逐步引入其他解释变量。如果新引入解释变量使原有解释变量的数值发生明显变化，甚至改变其符号，或者使原有解释变量的t统计量明显变小，就表示新引入的解释变量与原有解释变量之间存在多重共线性。第二章 多元线性回归分析2022年7月21日星期四第五节 多重共线性三、处理多重共线性问题的方法1.保留重要解释变量2.去掉不重要的解释变量3.一阶差分法4.主分量法第二章 多元线性回归分析2022年7月21日星期四第六节 预测一、E(Y0)的置信区间XXXXXXXEXXXEYXX
46、XXXXEXXEXEXEYEYEYu10200000000000002002002000)()cov()()()()var()()()()()()()()()()var(所以为标量，有其中，第二章 多元线性回归分析2022年7月21日星期四第六节 预测01020001000010200010200)()()1()()()()()(,()()var()var(XXXXSkntYYEkntXXXXSYEYXXXXXNYXXXXSYYu置信区间为的所以，可知由于的估计值为第二章 多元线性回归分析2022年7月21日星期四第六节 预测二、Y0的预测区间)()(2)(1()(2)cov()(2)()()
47、()()()()()()var(0)()()()(01001020102000020000000000000200000000000000000uUEXXXXXXXXuXXXEXXXuEXXEXuXEXuEuuEXXEuXuXEuXEYYuEEXYYEuXYYXYuXYuuu因此由于第二章 多元线性回归分析2022年7月21日星期四第六节 预测010200010000102000102002201020000)(1)()1()()(1)(1(,0()()(1()var()(1()var(0)(XXXXSkntYYkntXXXXSYYXXXXNYYXXXXSYYSXXXXYYuUEuUuuu预测
48、区间的所以，可知由于得代替用所以，所以的各元素中不包含其中，矩阵第二章 多元线性回归分析2022年7月21日星期四第六节 预测三、经济应用实例 见69页例2-4模型中误差项假定的诸问题计量经济学 第三章 第三章 模型中误差项假定的诸问题2022年7月21日星期四重点问题 广义最小二乘估计广义最小二乘估计 序列相关性序列相关性 异方差性异方差性第三章 模型中误差项假定的诸问题2022年7月21日星期四主要内容 第一节第一节 广义最小二乘估计广义最小二乘估计 第二节第二节 序列相关序列相关 第三节第三节 异方差性异方差性第三章 模型中误差项假定的诸问题2022年7月21日星期四第一节 广义最小二乘
49、估计模型 tktktttXXXY.33221矩阵形式UXY其中kYYYY21k21knkknnXXXXXXXXXX213232223121111kU21第三章 模型中误差项假定的诸问题2022年7月21日星期四第一节 广义最小二乘估计nk(X)(5)IN(0,U)4(X)3(I)UU(E)2()(E)(E0)U(E)1(n2n2n1为确定的矩阵即对每个元素取期望模型假设：In为n阶单位阵第三章 模型中误差项假定的诸问题2022年7月21日星期四第一节 广义最小二乘估计阶正定矩阵为其中：假设不成立时的情况本章主要讨论nUUEIUUE22)()(OLS,)(,)(2*则可对变换后的模型用使得如果可
50、以找到变换：基本思想：广义最小二乘法IUUEUUXXYYGLS第三章 模型中误差项假定的诸问题2022年7月21日星期四第一节 广义最小二乘估计IDDUDUDEUUEUUDUXDXYDYIDDDD212111*1*1*1*11)()()()var(,)(,则作变换显然的分解为对称正定矩阵，存在第三章 模型中误差项假定的诸问题2022年7月21日星期四第一节 广义最小二乘估计knXYXYknXYXYSLSLSestimatorsquaresleastdgeneralizeYXXXYDDXXDDXYXXXOLS)()()()()88)(var()var(OG)()()()()(*1*22*1111
