1、第5章 基本回归模型的OLS估计 重点内容：普通最小二乘法 线性回归模型的估计 线性回归模型的检验一、普通最小二乘法（OLS）1.最小二乘原理设（x1，y1），（x2，y2），（xn，yn）是平面直角坐标系下的一组数据，且x1 x2 xn，如果这组图像接近于一条直线，我们可以确定一条直线y=a+bx，使得这条直线能反映出该组数据的变化。如果用不同精度多次观测一个或多个未知量，为了确定各未知量的可靠值，各观测量必须加改正数，使其各改正数的平方乘以观测值的权数的总和为最小。因而称最小二乘法。一、普通最小二乘法（OLS）1.最小二乘原理设双变量的总体回归方程为yt=B1+B2xt+t样本回归函数为y
2、t=b1+b2xt+et其中，et为残差项，5-3式为估计方程，b1 和b2分别为B1和B2的估计量，因而e=实际的yt 估计的yt一、普通最小二乘法（OLS）1.最小二乘原理估计总体回归函数的最优方法是选择B1和B2的估计量b1，b2，使得残差et尽可能达到最小。用公式表达即为总之，最小二乘原理就是选择样本回归函数使得y的估计值与真实值之差的平方和最小。一、普通最小二乘法（OLS）2.方程对象选择工作文件窗口工具栏中的“Object”|“New Object”|“Equation”选项，在下图所示的对话框中输入方程变量。一、普通最小二乘法（OLS）2.方程对象EViews5.1提供了8种估计
3、方法：u“LS”为最小二乘法；u“TSLS”为两阶段最小二乘法；u“GMM”为广义矩法；u“ARCH”为自回归条件异方差；u“BINARY”为二元选择模型，其中包括Logit模型、Probit模型和极端值模型；u“ORDERED”为有序选择模型；u“CENSORED”截取回归模型；u“COUNT”为计数模型。二、一元线性回归模型1.模型设定一元线性回归模型的形式为 yi=0+1 xi+ui （i=1，2，n）其中，y为被解释变量，也被称为因变量；x为解释变量或自变量；u是随机误差项（random error term），也被称为误差项或扰动项，它表示除了x之外影响y的因素，即y的变化中未被x所
4、解释的部分；n为样本个数。二、一元线性回归模型2.实际值、拟合值和残差估计方程为 表示的是yt的拟合值，和 分别是 0 和1的估计量。实际值指的是回归模型中被解释变量（因变量）y的原始观测数据。拟合值就是通过回归模型计算出来的yt的预测值。二、一元线性回归模型2.实际值、拟合值和残差三条曲线分别是实际值（Actual），拟合值（Fitted）和残差（Residual）。实际值和拟合值越接近，方程拟合效果越好。三、多元线性回归模型通常情况下，将含有多个解释变量的线性回归模型（多元线性回归模型）写成如下形式，yi=0+1 x1i+2 x2i+3 x3i+k xki+ui （i=1，2，n）其中，y
5、为被解释变量，也被称为因变量；x为解释变量或自变量；u是随机误差项（random error term），也被称为误差项或扰动项；n为样本个数。三、多元线性回归模型在多元线性回归模型中，要求解释变量x1，x2，xk之间互不相关，即该模型不存在多重共线性问题。如果有两个变量完全相关，就出现了完全多重共线性，这时参数是不可识别的，模型无法估计。三、多元线性回归模型通常情况下，把多元线性回归方程中的常数项看作虚拟变量的系数，在参数估计过程中该常数项始终取值为1。因而模型的解释变量个数为k+1.多元回归模型的矩阵形式为 Y=X+u其中，Y是因变量观测值的T维列向量；X是所有自变量（包括虚拟变量）的T个
6、样本点观测值组成的T（k+1）的矩阵；是k+1维系数向量；u是T维扰动项向量。四、线性回归模型的基本假定线性回归模型必须满足以下几个基本假定：假定1：随机误差项u具有0均值和同方差，即 E(ui)=0 i=1，2，n Var(ui)=2 i=1，2，n 其中，E表示均值，也称为期望，在这里随机误差项u的均值为0。Var表示随机误差项u的方差，对于每一个样本点i，即在i=1，2，n的每一个数值上，解释变量y对被解释变量x的条件分布具有相同的方差。当这一假定条件不成立是，称该回归模型存在异方差问题。四、线性回归模型的基本假定假定2：不同样本点下的随机误差项u之间是不相关的，即 Cov（ui，uj）
7、=0，ij，i，j=1，2，n 其中，cov表示协方差。当此假定条件不成立时，则称该回归模型存在序列相关问题，也称为自相关问题。四、线性回归模型的基本假定假定3：同一个样本点下的随机误差项u与解释变量x之间不相关，即 Cov（xi，ui）=0 i=1，2，n 四、线性回归模型的基本假定假定4：随机误差项u服从均值为0、同方差的正态分布，即 u N（0，2）如果回归模型中没有被列出的各因素是独立的随机变量，则随着这些随机变量个数的增加，随机误差项u服从正态分布。四、线性回归模型的基本假定假定5：解释变量x1，x2，xi是非随机的确定性变量，并且解释变量间互不相关。则这说明yi的概率分布具有均值，
8、即 E（yi|xi）=E（0+1xi+ui）=0+1xi该式被称为总体回归函数。如果两个或多个解释变量间出现了相关性，则说明该模型存在多重共线性问题。五、线性回归模型的检验1.拟合优度检验拟合优度检验用来验证回归模型对样本观测值（实际值）的拟合程度，可通过R2统计量来检验。五、线性回归模型的检验1.拟合优度检验公式 三者的关系为TSS=RSS+ESS TSS为总体平方和，RSS为残差平方和，ESS为回归平方和。五、线性回归模型的检验1.拟合优度检验总体平方和（TSS）反映了样本观测值总体离差的大小，也被称为离差平方和；残差平方（RSS）说明的是样本观测值与估计值偏离的程度，反映了因变量总的波动
9、中未被回归模型所解释的部分；回归平方和（ESS）反映了拟合值总体离差大小，这个拟合值是根据模型解释变量算出来的。五、线性回归模型的检验1.拟合优度检验拟合优度R2的计算公式为 R2 =ESS/TSS=1RSS/TSS当回归平方（ESS）和与总体平方和（TSS）较为接近时，模型的拟合程度较好；反之，则模型的拟合程度较差。因此，模型的拟合程度可通过这两个指标来表示。五、线性回归模型的检验2.显著性检验变量显著性检验（t检验）检验中的原假设为：H0：i=0，备择假设为：H1：i 0，如果原假设成立，表明解释变量x对被解释变量y没有显著的影响；当原假设不成立时，表明解释变量x对被解释变量y有显著的影响
10、，此时接受备择假设。五、线性回归模型的检验2.显著性检验方程显著性检验（F 检验）原假设为：H0：1=0，2=0，k=0，备择假设为：H1：i 中至少有一个不为 0，如果原假设成立，表明解释变量x对被解释变量y没有显著的影响；当原假设不成立时，表明解释变量x对被解释变量y有显著的影响，此时接受备择假设。五、线性回归模型的检验2.显著性检验方程显著性检验（F 检验）F 统计量为 该统计量服从自由度为（k，nk1）的F分布。给定一个显著性水平，当F统计量的数值大于该显著性水平下的临界值F（k，nk1）时，则在（1）的水平下拒绝原假设H0，即模型通过了方程的显著性检验，模型的线性关系显著成立。五、线
11、性回归模型的检验3.异方差性检验（1）图示检验法图示检验法通过散点图来判断用OLS方法估计的模型异方差性，这种方法较为直观。通常是先将回归模型的残差序列和因变量一起绘制一个散点图，进而判断是否存在相关性，如果两个序列的相关性存在，则该模型存在异方差性。五、线性回归模型的检验3.异方差性检验（1）图示检验法检验步骤：l建立方程对象进行模型的OLS（最小二乘）估计，此时产生的残差保存在主窗口界面的序列对象resid中。l建立一个新的序列对象，并将残差序列中的数据复制到新建立的对象中。l然后选择主窗口中的“Quick”|“Graph”|“Scatter”选项，生成散点图，进而可判断随机项是否存在异方
12、差性。五、线性回归模型的检验3.异方差性检验（2）怀特（White）检验法检验步骤：l用OLS（最小二乘法）估计回归方程，得到残差e。l作辅助回归模型：l求辅助回归模型的拟合优度R2的值。White检验的统计量服从2分布，即N R 2 2(k)其中，N为样本容量，k为自由度，k等于辅助回归模型（）中解释变量的个数。如果2值大于给点显著性水平下对应的临界值，则可以拒绝原假设，即存在异方差；反之，接受原假设，即不存在异方差。五、线性回归模型的检验3.异方差性检验（2）怀特（White）检验法White检验的统计量服从2分布，即N R 2 2(k)其中，N为样本容量，k为自由度，k等于辅助回归模型（
13、）中解释变量的个数。如果2值大于给点显著性水平下对应的临界值，则可以拒绝原假设，即存在异方差；反之，接受原假设，即不存在异方差。五、线性回归模型的检验3.异方差性检验（2）怀特（White）检验法在EViews5.1软件中选择方程对象工具栏中的“View”|“Residual Tests”|“White Heteroskedasticity”选项即可完成操作。五、线性回归模型的检验3.异方差性检验异方差性的后果：当模型出现异方差性时，用OLS（最小二乘估计法）得到的估计参数将不再有效；变量的显著性检验（t检验）失去意义；模型不再具有良好的统计性质，并且模型失去了预测功能。五、线性回归模型的检验
14、4.序列相关检验方法：（1）杜宾（D.W.Durbin-Watson）检验法（2）LM（拉格朗日乘数Lagrange Multiplier）检验法 五、线性回归模型的检验4.序列相关检验（1）杜宾（D.W.Durbin-Watson）检验法 J.Durbin,G.S.Watson于1950年提出了D.W.检验法。它是通过对残差构成的统计量来判断误差项ut 是否存在自相关。D.W.检验法用来判定一阶序列相关性的存在。D.W.的统计量为NoImage五、线性回归模型的检验4.序列相关检验（1）杜宾（D.W.Durbin-Watson）检验法 如果，0 D.W.dt ，存在一阶正自相关 dt D.W
15、.du ，不能确定是否存在自相关 du D.W.4du ，不存在自相关 4du D.W.4dt 不能确定是否存在自相关 4dt D.W.4 ，存在一阶负自相关五、线性回归模型的检验4.序列相关检验（1）杜宾（D.W.Durbin-Watson）检验法 使用D.W.检验时应注意，因变量的滞后项yt-1不能作为回归模型的解释变量，否则D.W.检验失效。另外，样本容量应足够大，一般情况下，样本数量应在15个以上。五、线性回归模型的检验4.序列相关检验（2）LM（拉格朗日乘数Lagrange Multiplier）检验法LM 检验原假设和备择假设分别为：H0：直到p阶滞后不存在序列相关H1：存在p阶序
16、列相关LM的统计量为 LM=nR2 2（p）其中，n为样本容量，R2为辅助回归模型的拟合优度。LM统计量服从渐进的2（p）。在给定显著性水平的情况下，如果LM统计量小于设定在该显著性水平下的临近值，则接受原假设，即直到p阶滞后不存在序列相关。五、线性回归模型的检验4.序列相关检验序列相关性的后果：l用OLS（最小二乘估计法）得到的估计参数将不再有效；l变量的显著性检验（t检验）失去意义；l模型不再具有良好的统计性质，并且模型失去了预测功能。五、线性回归模型的检验5.多重共线性方法：（1）相关系数检验法（2）逐步回归法五、线性回归模型的检验5.多重共线性（1）相关系数检验法在群对象窗口的工具栏中
17、选择“View”|“Correlations”|“Common Sample”选项，即可得到变量间的相关系数。如果相关系数较高，则变量间可能存在线性关系，即模型有多重共线性的可能。五、线性回归模型的检验5.多重共线性（2）逐步回归法当在回归模型中增加或减少解释变量个数时，如果拟合优度变化很大，说明新引进的变量是一个独立的解释变量，即它与其他变量间是相互独立的，模型不存在多重共线性；如果拟合优度变化不大，说明新引进的变量不是一个独立的解释变量，它可由原有的解释变量的线性组合构成，即它与其他变量间非相互独立，模型可能存在多重共线性。五、线性回归模型的检验4.序列相关检验消除多重共线性方法：l剔除法l差分法 本章小结：掌握线性回归模型的基本原理 掌握回归模型的检验方法 熟练各检验的EViews相关操作
