1、一、多元回归的最小二乘法n1、模型n若被解释变量 与 个解释变量 存在线性关系，可建立如下线性多元模型：ty1k1,2,1,kixtiTtuxxxytktkttt,2,1,1,122110线性多元模型n可以表示为：TkTkTTTkkkkuxxxyuxxxyuxxxy1,12211021,212222110211,1112211101Ttuxxxytktkttt,2,1,1,122110n可以用矩阵表示为：n其中：uXYTyyy21Y110kTuuu21u111222111111111TkTjTkjkjxxxxxxxxxXuXYn2、基本假设n（1）随机误差项非自相关，每一误差项满足均值为0，方
2、差相同且为有限值。0)(uEIu2)(Varn（2）解释变量误差项相互独立。n（3）解释变量之间线性无关。n（4）非随机变量。0)(uXEkrkrk)()(XXXXn以上假定在纯数学的意义是保证估计参数有唯一的解，同时保证了估计参数具有良好的统计特征。3、估计n上式中，利用了 （1T）（TK）（K1）（11）是一个标量，它的转置矩阵不变：XYXXYX2YYXXYXXYYY)X(Y)X(YSminYXXYn求偏导：n上式中，利用了矩阵导数：n则：XX2XX0XX2YX2SXXYXn由假定 是一个非退化矩阵，其逆矩阵存在，因此有：n因为其二阶条件 ，因此n 是使方差最小化的解。XX0XX2S2 Y
3、XX)X(1YXX)X(1多元回归若干问题及其处理n一、多重共线性n多重共线性的产生：回归模型的部分解释变量之间存在线性关系，即某个解释变量可以表示为另外解释变量的线性组合。n完全的多重共线性，解释变量之间存在准确的线性关系，有：n欠完全的多重共线性，解释变量之间高度相关，但又非完全相关，有：n其中 为随机误差。1111112211kkjjjjjxxxxxxjkkjjjjjvxxxxxx1111112211jvn2、多重共线性的后果n 估计值的表达式为：，其中：YXXX1)(111222111111111TkTjTkjkjxxxxxxxxxXn如果第j个解释变量可以表示为其他解释变量的线性组合
4、，则X矩阵可以化简为：1112211111010101TkTkkxxxxxxXn 的逆矩阵不存在，回归系数将不确定，回归的方差为无穷大。KKKKKKTkTkkTkkkTXXXXXXXXXxxxxxxxxxxxxXX000000001010100011121222211121111122111111121112111XXn如果解释变量之间高度相关，但又非完全相关，在上式对应0的行列的向量非常接近于0，解释变量之间相关程度越高，相应行列的向量越接近于0，这时，虽然回归系数可以确定，但方差随变量相关程度的提高以更快的速度提高，系数不能准确估计。n总结：n1）OLS估计量仍是一个有效估计量（渐进、无偏
5、的估计量），但有很大的方差，估计的精确度差。n2）一个或多个系数的t统计量不显著。n3）虽然一个或多个系数的t统计量不显著，但拟合优度非常高。n4）OLS估计量对数据小小的变化也会非常敏感。n3、多重共线性：一个实例n消费支出与收入和财富的关系。其中Y表示消费支出、X1表示收入，X2表示财富。n回归方程：Y=C(1)+C(2)*X1+C(3)*X2n回归结果：n回归结果的拟合程度非常高，但系数的斜率没有一个通过了显著性检验，但方程的总体系数检验的F统计量又非常高，说明X1、X2斜率至少有一个不为0。n以X1、X2为解释变量分别回归，得到：n分别回归后斜率高度显著。n4、多重共线性的判断n1）高
6、而显著的t值少。n2）解释变量之间高度相关n3)估计量对数据小小的变化也会非常敏感。2Rn6、多重共线性的处理n1）根据先验信息重新设立模型。n2）去掉一个高度共线性的变量。n3）对原始序列做一阶差分。n3）增加数据进行回归。二、异方差n1、异方差的产生n学习模型，随学习时间的增加，其行为的误差减少。（方差减少）n储蓄行为模型，随收入的增加，个人如何支配他们的收入有更大的选择，有人可以选择较多的储蓄，有人也可以选择较少的储蓄，从而，收入越高，储蓄的差异越大。（方差增大）Y0XiXjXn2、异方差的后果n模型的假定条件给出的Var（u）是一个对角矩阵，各误差项不相关，误差项的协方差为0，2222
7、00)(IuVarn当假定不成立时，有：n当误差向量u的方差协方差矩阵的对角线上的元素不相等时，说明该时间序列存在异方差。非对角线上的元素表示误差向量的协方差，若非对角线上的元素不为0，表示误差项自相关。IuVarTTTTTT2212222111211)(n如果存在异方差，最小二乘估计仍具有无偏性与一致性，但估计量不再是最优的，不满足最小方差性。估计量的分布受到影响。n如果仍用 来估计 ，显然这种估计是有偏的，不一致的。建立在这样一个 的t检验与F检验可能产生严重的误导，得出错误的结论。)()()()()()()()()(111111XXXXXXXXXuuEXXXXXXuuXXXEEVar12
8、)(XX)(Var)(Varn3、异方差的判断n1）残差序列分析.nA、不存在异方差YnB、存在异方差，残差方差随y的增大而增大。Yn缺点：在样本期太短时无法判断。n2）异方差检验nPark异方差检验步骤：nA、回归方程，得方程得残差序列。nB、取残差序列的平方，再估算一个方程：n nC、如果 值统计显著，说明数据存在异方差。iiivXulnln2nWhite异方差检验nWhite异方差检验思想：以两变量为例，若原始的回归为n检验就以扩展的回归式为基础：ttttuXXY33221ttttttttuXXXXXXu326235224332212nWhite异方差检验的输出结果给出了F统计量以及自由
9、度为扩展回归式中回归因子个数的 分布。n判断：1、如果回归元系数都不显著，则认为不存在异方差，如果有任何一个回归元的系数显著，则认为该模型存在异方差。2、F统计量及 分布在设定的显著水平接受原假设，即所有的回归原系数为0，则认为不存在异方差。22n一个实例：货币供给增长率对GDP的影响。1000200030004000500050010001500200025003000M2GNPnEstimation Equation:nGNP=C(1)+C(2)*M2n结果：n异方差检验：n结果：n判断：各回归元系数均不显著，F检验接受回归元系数为0的原假设，说明不存在异方差。n4、异方差的处理n1）加权
10、最小二乘法。n思想：若知道 的形式，如果某变量 与 成倒数关系，则把 与各解释变量相乘，消除异方差。iixiixn加权最小二乘法在Eviews里的实现。n3）怀特（White）异方差调整n怀特异方差一致协方差矩阵n4）对原始序列取对数，再建立线性模型是消除模型异方差的一个有效的方法。三、自相关n1、自相关的定义：n序列中的观测值之间的相关。n如果某个回归模型的残差存在类似如下关系：n其中 ,说明残差序列存在（一阶）自相关。tttuu10)(,0)(jitEE2、自相关的产生nA、惯性。对大多数经济变量来说，如GDP、价格指数、就业等时间序列都呈现一种商业循环。nB、模型设定偏误。n1）模型变量
11、缺失。n如果模型的形式为：n而我们采用的回归形式为：n则回归误差项：，误差表现为一种系统性变化的特征，造成自相关。tttttuxxxy3322110ttttvxxy22110tttuxv33n2）、忽略了模型的滞后效应。n如在消费模型中，消费不仅仅依赖于当期的收入水平，由于消费者不会轻易改变他们的消费习惯，因此他们的消费支出还依赖于前期的消费支出，既有：n如果忽略了滞后项，则模型的误差项由于滞后变量对当前变量的影响而反映出一种系统性变化的特征，具有自相关。tu消费收入消费1t2t10tn3、自相关的影响。n由于模型假定随机误差项非自相关，n现 ，则误差向量的方差协方差矩阵为：n非对角线上的元素
12、表示误差向量的协方差，非对角线上的元素不为0，表示误差项自相关。0)(jiuuE0)(jiuuEIuVarTTTTTT2212222111211)(n与异方差的影响一样，t检验与F检验可能产生严重的误导，得出错误的结论。4、自相关的检验n1）残差序列图分析。n在样本期太短时无法判断。n2）DW检验nDW统计量定义为：n其中T为样本容量。TttTtttuuuDW12221)(n由于 依赖于解释变量，因此DW统计量与t统计量及F统计量的检验不同，没有唯一的临界值可以用来检验一阶自相关假设，DW给出上限 与下限 两个临界值。tu udLd)1(2)1(222)(1221122122221221221
13、2212221TttTtttTttTtttTttTttTttTtttTttTttTttTtttuuuuuuuuuuuuuuuuDWn其中 为 与 相关系数的估计11tu1tunDW检验：n ：，（一阶非自相关）0H0tunDW检验的缺陷：n1）只能检验残差的一阶自相关。n2）当解释变量中出现被解释变量的滞后变量时，DW不再适用。解释变量中出现被解释变量的滞后变量时，残差的自相关检验n伯克斯-皮尔斯Q检验。nQ统计量：n其中：n为样本容量，m为滞后长度。mkknQ12nQ统计量遵循自由度为m的 分布，检验标准为，当Q统计量大于临界的值时，拒绝 全部为0的原假设，即拒绝残差非自相关的原假设。（或P
14、值小余临界的p值时，拒绝残差非自相关的原假设）2k5、自相关的处理。n1）、残差自相关的结构已知广义差分法。n如果残差一阶自相关：n以一元回归为例，原回归为：n （1）tttuu1tttuxy10n则在时刻t-1有：n (2)n（1）式减去（2）式乘以 ，有：11101tttuxytttttttttxxuuxxyy)()1()()()(1101111001n或者表示为：n其中：，上式的回归为最佳线性、无偏的一致估计。tttxy*1101*),1(,*ttttttxxxyyyn2）、残差自相关的结构未知差分法。n差分不一定可以消除模型自相关。n3）、尝试其他的模型形式。n如增加解释变量，把被解释
15、变量的滞后变量当作解释变量。n6、例：自相关的处理.n中国宏观消费分析19521993，其中X为国民收入，y为居民消费。05000100001500020000250005560657075808590XY0500010000150000500010000 15000 20000 25000XYn消费的年增长曲线YY：-0.10-0.050.000.050.100.155560657075808590YYn国民收入的年增长曲线XX：-0.4-0.3-0.2-0.10.00.10.20.35560657075808590XXn年消费率变化曲线：0.50.60.70.80.955606570758
16、08590RYnEstimation Equation:nY=C(1)+C(2)*Xn查DW表，在5的显著性水平上，有 n 。由于 ，说明模型自相关。566.1,475.1ulddldDW09.1nEstimation Equation:nLOG(Y)=C(1)+C(2)*LOG(X)n考虑到消费不仅仅与当期的收入相关，还与上期的收入相关，nEstimation Equation:nY=C(1)+C(2)*X+C(3)*X(-1)n自相关未消除。考虑到消费不仅仅与收入相关，还与上期的消费有关，（消费的棘轮效应）。nEstimation Equation:nY=C(1)+C(2)*X+C(3)*X(-1)+C(4)*Y(-1)n ，表明模型不存在自相关，n但 未通过5的显著性检验，去掉重新回归：nY=C(1)+C(2)*X+C(3)*Y(-1)udDW88.1)1(x残差的Q检验n结论，如果显著性水平设为5，则由Pa可知，接受存在自相关的情况
