1、第5章 基本回归模型的OLS估计 重点内容： 普通最小二乘法 线性回归模型的估计 线性回归模型的检验一、普通最小二乘法（OLS）1.最小二乘原理设（x1，y1），（x2，y2），（xn，yn）是平面直角坐标系下的一组数据，且x1 x2 xn，如果这组图像接近于一条直线，我们可以确定一条直线y = a + bx ，使得这条直线能反映出该组数据的变化。 如果用不同精度多次观测一个或多个未知量，为了确定各未知量的可靠值，各观测量必须加改正数，使其各改正数的平方乘以观测值的权数的总和为最小。因而称最小二乘法。 一、普通最小二乘法（OLS）1.最小二乘原理设双变量的总体回归方程为yt= B1 + B2x
2、t +t样本回归函数为yt= b1 + b2xt + et其中，et为残差项， 5-3式为估计方程，b1 和b2分别为B1和B2的估计量，因而e = 实际的yt 估计的yt一、普通最小二乘法（OLS）1.最小二乘原理估计总体回归函数的最优方法是选择B1和B2的估计量b1 ，b2，使得残差et尽可能达到最小。 用公式表达即为总之，最小二乘原理就是选择样本回归函数使得y的估计值与真实值之差的平方和最小。一、普通最小二乘法（OLS）2.方程对象选择工作文件窗口工具栏中的“Object”| “New Object”| “Equation”选项，在下图所示的对话框中输入方程变量。 一、普通最小二乘法（O
3、LS）2.方程对象EViews5.1提供了8种估计方法：u“LS”为最小二乘法；u“TSLS”为两阶段最小二乘法；u“GMM”为广义矩法；u“ARCH”为自回归条件异方差；u“BINARY”为二元选择模型，其中包括Logit模型、Probit模型和极端值模型；u“ORDERED”为有序选择模型；u“CENSORED”截取回归模型；u“COUNT”为计数模型。 二、一元线性回归模型1.模型设定一元线性回归模型的形式为 yi = 0 + 1 xi + ui （i=1，2，n）其中，y为被解释变量，也被称为因变量；x为解释变量或自变量；u是随机误差项（random error term），也被称为误
4、差项或扰动项，它表示除了x之外影响y的因素，即y的变化中未被x所解释的部分；n为样本个数。二、一元线性回归模型2.实际值、拟合值和残差估计方程为 表示的是yt的拟合值， 和 分别是 0 和1的估计量。实际值指的是回归模型中被解释变量（因变量）y的原始观测数据。拟合值就是通过回归模型计算出来的yt的预测值。二、一元线性回归模型2.实际值、拟合值和残差三条曲线分别是实际值（Actual），拟合值（Fitted）和残差（Residual）。实际值和拟合值越接近，方程拟合效果越好。三、多元线性回归模型通常情况下，将含有多个解释变量的线性回归模型（多元线性回归模型）写成如下形式，yi = 0 + 1 x
5、1i +2 x2i+3 x3i+k xki + ui （i=1，2，n） 其中，y为被解释变量，也被称为因变量；x为解释变量或自变量；u是随机误差项（random error term），也被称为误差项或扰动项； n为样本个数。 三、 多元线性回归模型在多元线性回归模型中，要求解释变量x1，x2，xk之间互不相关，即该模型不存在多重共线性问题。如果有两个变量完全相关，就出现了完全多重共线性，这时参数是不可识别的，模型无法估计。 三、 多元线性回归模型通常情况下，把多元线性回归方程中的常数项看作虚拟变量的系数，在参数估计过程中该常数项始终取值为1。因而模型的解释变量个数为k+1.多元回归模型的矩
6、阵形式为 Y = X + u其中，Y是因变量观测值的T维列向量；X是所有自变量（包括虚拟变量）的T个样本点观测值组成的T（k+1）的矩阵；是k+1维系数向量；u是T维扰动项向量。四、 线性回归模型的基本假定线性回归模型必须满足以下几个基本假定： 假定1：随机误差项u具有0均值和同方差，即 E ( ui ) = 0 i=1，2，n Var ( ui ) = 2 i=1，2，n 其中，E表示均值，也称为期望，在这里随机误差项u的均值为0。Var表示随机误差项u的方差，对于每一个样本点i，即在i=1，2，n的每一个数值上，解释变量y对被解释变量x的条件分布具有相同的方差。当这一假定条件不成立是，称该
7、回归模型存在异方差问题。 四、 线性回归模型的基本假定假定2：不同样本点下的随机误差项u之间是不相关的，即 Cov（ui，uj）=0，ij，i，j=1，2，n 其中，cov表示协方差。当此假定条件不成立时，则称该回归模型存在序列相关问题，也称为自相关问题。 四、 线性回归模型的基本假定假定3：同一个样本点下的随机误差项u与解释变量x之间不相关，即 Cov（xi，ui）=0 i=1，2，n 四、 线性回归模型的基本假定假定4：随机误差项u服从均值为0、同方差的正态分布，即 u N（0，2） 如果回归模型中没有被列出的各因素是独立的随机变量，则随着这些随机变量个数的增加，随机误差项u服从正态分布。
8、 四、 线性回归模型的基本假定假定5：解释变量x1，x2，xi是非随机的确定性变量，并且解释变量间互不相关。则这说明yi的概率分布具有均值，即 E（yi|xi）= E（0 +1xi +ui）=0 +1xi该式被称为总体回归函数。如果两个或多个解释变量间出现了相关性，则说明该模型存在多重共线性问题。 五、 线性回归模型的检验1.拟合优度检验拟合优度检验用来验证回归模型对样本观测值（实际值）的拟合程度，可通过R2统计量来检验。 五、 线性回归模型的检验1.拟合优度检验公式 三者的关系为TSS = RSS +ESS TSS为总体平方和， RSS为残差平方和， ESS为回归平方和。 五、 线性回归模型
9、的检验1.拟合优度检验总体平方和（TSS）反映了样本观测值总体离差的大小，也被称为离差平方和；残差平方（RSS）说明的是样本观测值与估计值偏离的程度，反映了因变量总的波动中未被回归模型所解释的部分；回归平方和（ESS）反映了拟合值总体离差大小，这个拟合值是根据模型解释变量算出来的。五、 线性回归模型的检验1.拟合优度检验拟合优度R2的计算公式为 R2 = ESS / TSS = 1RSS / TSS当回归平方（ESS）和与总体平方和（TSS）较为接近时，模型的拟合程度较好；反之，则模型的拟合程度较差。因此，模型的拟合程度可通过这两个指标来表示。五、 线性回归模型的检验2.显著性检验变量显著性检
10、验（t检验） 检验中的原假设为： H0：i= 0，备择假设为： H1：i 0， 如果原假设成立，表明解释变量x对被解释变量y没有显著的影响；当原假设不成立时，表明解释变量x对被解释变量y有显著的影响，此时接受备择假设。 五、 线性回归模型的检验2.显著性检验方程显著性检验（F 检验） 原假设为： H0：1= 0，2= 0，k= 0，备择假设为： H1：i 中至少有一个不为 0， 如果原假设成立，表明解释变量x对被解释变量y没有显著的影响；当原假设不成立时，表明解释变量x对被解释变量y有显著的影响，此时接受备择假设。 五、 线性回归模型的检验2.显著性检验方程显著性检验（F 检验） F 统计量为
11、 该统计量服从自由度为（k，nk1）的F分布。给定一个显著性水平，当F统计量的数值大于该显著性水平下的临界值F（k，nk1）时，则在（1）的水平下拒绝原假设H0，即模型通过了方程的显著性检验，模型的线性关系显著成立。 五、 线性回归模型的检验3.异方差性检验（1）图示检验法图示检验法通过散点图来判断用OLS方法估计的模型异方差性，这种方法较为直观。通常是先将回归模型的残差序列和因变量一起绘制一个散点图，进而判断是否存在相关性，如果两个序列的相关性存在，则该模型存在异方差性。 五、 线性回归模型的检验3.异方差性检验（1）图示检验法检验步骤：l建立方程对象进行模型的OLS（最小二乘）估计，此时产
12、生的残差保存在主窗口界面的序列对象resid中。l建立一个新的序列对象，并将残差序列中的数据复制到新建立的对象中。l然后选择主窗口中的“Quick” | “Graph” | “Scatter”选项，生成散点图，进而可判断随机项是否存在异方差性。 五、 线性回归模型的检验3.异方差性检验（2）怀特（White）检验法检验步骤：l用OLS（最小二乘法）估计回归方程，得到残差e。l作辅助回归模型：l求辅助回归模型的拟合优度R2的值。White检验的统计量服从2分布，即N R 2 2 (k)其中，N为样本容量，k为自由度，k等于辅助回归模型（）中解释变量的个数。如果2值大于给点显著性水平下对应的临界值
13、，则可以拒绝原假设，即存在异方差；反之，接受原假设，即不存在异方差。 五、 线性回归模型的检验3.异方差性检验（2）怀特（White）检验法White检验的统计量服从2分布，即N R 2 2 (k)其中，N为样本容量，k为自由度，k等于辅助回归模型（）中解释变量的个数。如果2值大于给点显著性水平下对应的临界值，则可以拒绝原假设，即存在异方差；反之，接受原假设，即不存在异方差。 五、 线性回归模型的检验3.异方差性检验（2）怀特（White）检验法在EViews5.1软件中选择方程对象工具栏中的“View” | “Residual Tests” | “White Heteroskedastici
14、ty”选项即可完成操作。五、 线性回归模型的检验3.异方差性检验异方差性的后果 ：当模型出现异方差性时，用OLS（最小二乘估计法）得到的估计参数将不再有效；变量的显著性检验（t检验）失去意义；模型不再具有良好的统计性质，并且模型失去了预测功能。 五、 线性回归模型的检验4.序列相关检验方法：（1）杜宾（D .W .Durbin-Watson）检验法 （2）LM（拉格朗日乘数Lagrange Multiplier）检验法 五、 线性回归模型的检验4.序列相关检验（1）杜宾（D .W .Durbin-Watson）检验法 J. Durbin, G. S. Watson于1950年提出了D .W .
15、检验法。它是通过对残差构成的统计量来判断误差项ut 是否存在自相关。D .W .检验法用来判定一阶序列相关性的存在。D .W .的统计量为五、 线性回归模型的检验4.序列相关检验（1）杜宾（D .W .Durbin-Watson）检验法 如果， 0 D .W . dt ，存在一阶正自相关 dt D .W . du ，不能确定是否存在自相关 du D .W . 4du ，不存在自相关 4du D .W . 4dt 不能确定是否存在自相关 4dt D .W . 4 ，存在一阶负自相关五、 线性回归模型的检验4.序列相关检验（1）杜宾（D .W .Durbin-Watson）检验法 使用D .W .
16、检验时应注意，因变量的滞后项yt-1不能作为回归模型的解释变量，否则D .W .检验失效。另外，样本容量应足够大，一般情况下，样本数量应在15个以上。五、 线性回归模型的检验4.序列相关检验（2）LM（拉格朗日乘数Lagrange Multiplier）检验法LM 检验原假设和备择假设分别为：H0：直到p阶滞后不存在序列相关H1：存在p阶序列相关LM的统计量为 LM = nR2 2（ p） 其中，n为样本容量，R2为辅助回归模型的拟合优度。LM统计量服从渐进的2（p）。在给定显著性水平的情况下，如果LM统计量小于设定在该显著性水平下的临近值，则接受原假设，即直到p阶滞后不存在序列相关。 五、
17、线性回归模型的检验4.序列相关检验序列相关性的后果：l用OLS（最小二乘估计法）得到的估计参数将不再有效；l变量的显著性检验（t检验）失去意义；l模型不再具有良好的统计性质，并且模型失去了预测功能。五、 线性回归模型的检验5.多重共线性方法：（1）相关系数检验法 （2）逐步回归法五、 线性回归模型的检验5.多重共线性（1）相关系数检验法在群对象窗口的工具栏中选择“View” | “Correlations” | “Common Sample”选项，即可得到变量间的相关系数。 如果相关系数较高，则变量间可能存在线性关系，即模型有多重共线性的可能。五、 线性回归模型的检验5.多重共线性（2）逐步回归法当在回归模型中增加或减少解释变量个数时，如果拟合优度变化很大，说明新引进的变量是一个独立的解释变量，即它与其他变量间是相互独立的，模型不存在多重共线性；如果拟合优度变化不大，说明新引进的变量不是一个独立的解释变量，它可由原有的解释变量的线性组合构成，即它与其他变量间非相互独立，模型可能存在多重共线性。 五、 线性回归模型的检验4.序列相关检验消除多重共线性方法：l剔除法l差分法 本章小结： 掌握线性回归模型的基本原理 掌握回归模型的检验方法 熟练各检验的EViews相关操作
