6第六章多元线性回归模型课件.ppt

1、第六章第六章 多元线性回归模型多元线性回归模型多元回归模型多元回归模型1201212111211101221222220121201212,1,2,iiikiikiiikikkkknnnknnkkikiniiuYXXXXY X XuYXXXuYXXXuYXXXX XX数据：、等为具体某个解释变量，中的 表示为第 次观测为偏回归系数 计算各收入组的条件均值，绘制散计算各收入组的条件均值，绘制散点图点图900/20 1000/30 1100/40 550550600 550600650 600650700650700750650750800X1/x2Y目录目录 第一节第一节 多元线性回归的模型的表

2、示方法和多元线性回归的模型的表示方法和基本假定基本假定 第二节第二节 多元线性回归的参数的多元线性回归的参数的OLS估计及其性质估计及其性质 第三节多元线性回归的统计检验第三节多元线性回归的统计检验 专题：专题：eviews软件入门软件入门第一节多元线性回归的模型的表示和第一节多元线性回归的模型的表示和基本假定基本假定 一、多元线性回归的基本表示方法一、多元线性回归的基本表示方法 二、偏回归系数的含义二、偏回归系数的含义 三、模型的基本假定三、模型的基本假定 返回返回一、一般线性回归模型的基本表示方法一、一般线性回归模型的基本表示方法nYYY211112112122221201122111kk

3、nnnknnkYXYXXXYXXXYXXXuuu112111222212111kknnknXXXXXXXXX 函数形式函数形式：矩阵形式矩阵形式：k21nuuu21niuXXXYiKiKiii，2133221YX返回Kk为偏回归系数，或偏斜率系数，度量了当其他变量不变时，对应的变量X 的单位变动引起的Y的条件均值的改变量。由此，多元线性回归模型能够“分离”出每个解释变量对被解释变量的影响。（p154例）二、偏回归系数返回 假定假定1：随机扰动项随机扰动项的零均值假定的零均值假定 三、三、古典（经典）假定古典（经典）假定niEi,2,10)(或或000)(2121nnEuEuEuuuuEUEUX

4、Y 假定假定2 2：随机扰动项的零均值假定的随机扰动项的零均值假定的同方差假定同方差假定niuEuEuEuVariiii,2,1)()()(222返回假定假定3：无自相关假定无自相关假定（多元（多元线性回归模型）线性回归模型）kiuEuEuuEEuuEuuEuuCOVkikikkiiki0)()()()(),()(,),(),()()()(3222112211nnnnuEuuEuuEuuEuuEuuEuEUUEEUUEUUEUVaru）（）（）（协方差矩阵的方差即随机干扰项、假定假定阶单位阵为其中nIn:nnnnnnnIuuEuuEuuEuuEuuEuuEuuEuuEuuE2222212221

5、212111000000 ）（）（）（）（）（）（）（）（）（0),(jiYYCov假定假定4、随机扰动项与解释变量不相关随机扰动项与解释变量不相关（相互独立）（相互独立）),0(2Nui00)(）（即，uXEuXCoviji00022ikiiiiikiiiiEuXEuXEuuXuXuE或或假定假定5、正态性：随机扰动项服从正态分布正态性：随机扰动项服从正态分布 线性回归模型：线性回归模型：例例：一元一元线性回归模型：线性回归模型：),0(2Nui），（221iiXNY 6、无多重共线性，即假定各解释变量之间不存在线无多重共线性，即假定各解释变量之间不存在线性关系性关系 （注注：多元线性回归模

6、型才有无多重共线性的假定）：多元线性回归模型才有无多重共线性的假定）kXRankX)(满秩的假定解释变量观测值矩阵kXXRankXX）（也应是满秩的：此时，方阵存在），（所以行列式10XXXX 该式成立，该式成立，X X至少有至少有K K阶子行列式不为零，表明解释变量之间阶子行列式不为零，表明解释变量之间不存在线性相关关系。不存在线性相关关系。返回第二节第二节 多元线性回归的参数的多元线性回归的参数的OLS估估计及其性质计及其性质 一、参数的一、参数的OLS估计估计 二、二、OLS估计量的性质估计量的性质 三、三、OLS估计量的概率分布估计量的概率分布 返回返回2221122)()(kikii

7、niiiiXXYYYeQkjeQjij，20)(2 例如：多元线性回归模型的多元线性回归模型的“残差平方和残差平方和”为：为：要使要使“残差平方和残差平方和”达到最小，其充分条件是达到最小，其充分条件是即：即：一、一、参数的参数的 OLS估计估计 基本思想（基本思想（原则）原则）：寻找寻找实际值与拟合值的离差平方和实际值与拟合值的离差平方和为为最小最小的回归直线的回归直线。0)(20)(20)(2221222122211kikikiikikikiikikiiXXXYQXXXYQXXYQ 化简得正规方程组化简得正规方程组 1111212112111000ini ikkknnKi ieeXXXeX

8、 eX eXXXeX e eXY样本回归函数为YXXXk)(121二、参数估计量的性质 在满足基本假设的情况下，总体参数在满足基本假设的情况下，总体参数的的普普通最小二乘估计通最小二乘估计具有：具有：线性性、无偏性、有效性。即高斯即高斯-马尔可夫定理一样成立马尔可夫定理一样成立1、线性性、线性性2、无偏性、无偏性3、最小方差性、最小方差性4、小结、小结返回返回的线性组合是ijYkj),2,1(的积的列向量行与的第）是（）（因为njkYYYYjXXXXYXX211121的线性函数。为所以ijY1、线性性：线性性：返回kkEEE11)(YXXX1）（因为XXXXXXXXXXXXXX1111）（）（

9、）（）（）（）（XXXEE1）（）（）（）（）（）（01EEXXXE2、无偏性、无偏性返回3、最小方差性：参数向量 的最小二乘估计是 的所有线性无偏估计中方差最小的估计量。:jOLS估计量的方差为2112,)jjjjjVarcjncX Xj（）（，（是矩阵（）的第 个主对角元素）可以证明：此方差在所有线性无偏估计量中方差最小返回 4、小结：、小结：估计量的估计量的统计性质统计性质1(1,2,)jijkY）线性性：参数的估计量是 的线性组合2()(1,2,)jjEjn）无偏性：3）最小方差性：）最小方差性：:j的方差为211 2,)jjjjjVarcjncX Xj（）（，（是矩阵（）的第 个主对

10、角元素）在所有线性无偏估计量中方差最小:(1,2,)jjk4）的方差、标准差的估计量分别为：222()-1jijjjjeSccnk2jjjjSSc222():(-1)ienk其中 多元的无偏估计量为，K为解释变量个数返回三、三、ols估计量的概率分布估计量的概率分布 假设检验需要指明总体参数（即总体回归假设检验需要指明总体参数（即总体回归系数）的估计量（即样本回归系数）服从系数）的估计量（即样本回归系数）服从何种分布何种分布如同需要指明样本均值服从何种分布，才可对如同需要指明样本均值服从何种分布，才可对总体均值进行统计推断一样。总体均值进行统计推断一样。样本回归系数是样本回归系数是Y的线性函数

11、，因此其概率的线性函数，因此其概率分布取决于分布取决于Y，而，而Y的概率分布取决于随机的概率分布取决于随机误差项误差项有了样本回归系数的有了样本回归系数的OLS估计量的分布信息，估计量的分布信息，就可以利用它进行总体回归系数的统计推断就可以利用它进行总体回归系数的统计推断 1、正态性假定：随机误差项服从正态分布，、正态性假定：随机误差项服从正态分布，随机扰动项代表了未引入模型的随机影响之和，依据中随机扰动项代表了未引入模型的随机影响之和，依据中心极限定理，大量独立同分布的随机变量之和趋向于正心极限定理，大量独立同分布的随机变量之和趋向于正态分布态分布),0(2Ni2122(,()jjjjjjj

12、jNVarVarccX Xj、则其中：（）（是矩阵（）的第 个主对角元素）当未知时，和一元线性回归相同，可以用t检验来进行统计检验返回第三节多元线性回归的统计检验第三节多元线性回归的统计检验 一、拟合优度检验一、拟合优度检验 二、参数显著性检验二、参数显著性检验 三、对联合假设的检验：三、对联合假设的检验：F检验检验 返回返回一、拟合优度检验一、拟合优度检验 p158 1、多元判定系数、多元判定系数R2 2、调整后的多元判定系数、调整后的多元判定系数 返回返回1、多元判定系数、多元判定系数R2 多元判定系数和一元判定系数的计算方法是一样多元判定系数和一元判定系数的计算方法是一样的：因为判定系数

13、的计算只和被解释变量的：因为判定系数的计算只和被解释变量Y有关，有关，和解释变量和解释变量X无关无关2、调整后的多元判定系数（、调整后的多元判定系数（p165）多元判定系数多元判定系数R2存在一个问题：当解释变量个数存在一个问题：当解释变量个数增多时候，离差平方和增多时候，离差平方和RSS至少不会增大，则多至少不会增大，则多元判定系数元判定系数R2一般会随着增大解释变量个数增多一般会随着增大解释变量个数增多而增大而增大1）可决系数随解释变量个数的增加而增大。易造成错觉：要模型拟合得越好，就应增加解释变量。然而增加解释变量会降低自由度，减少可用的样本数。并且有时增加解释变量是不必要的；2）导致解

14、释变量个数不同模型之间对比困难；可决系数只涉及变差，没有考虑自由度。因此在比较同一被解释变量，但又不同个数的解因此在比较同一被解释变量，但又不同个数的解释变量的模型的时候，释变量的模型的时候，R2存在不合理的存在不合理的 地方地方调整后的多元判定系数性质调整后的多元判定系数性质2i222i222222en1nk1R11(1 R)ynk-1n11k1,RRRR2R3R 、当则，随着模型中解释变量的增加，越来越小于、可能为负、可以帮助我们对相同被解释变量，不同解释变量的回归模型进行比较二、对回归参数进行假设检验：二、对回归参数进行假设检验：显著性检验法显著性检验法(p135)多元线性回归的多元线性

15、回归的 参数的显著性检验参数的显著性检验同为稻草人假设同为稻草人假设自由度为自由度为n-k-1,k为解释变量个数为解释变量个数得到得到t值后和临界值比较，当值后和临界值比较，当t值大于临界值，则拒绝值大于临界值，则拒绝零假设零假设iitS返回返回葡萄酒价格预测葡萄酒价格预测数据数据 应变量：应变量：ln(price)：19521980年间共年间共10批，批，用来自六个葡萄种植场的的葡萄酿造的用来自六个葡萄种植场的的葡萄酿造的60种不同种不同葡萄酒的价格，取其对数形式葡萄酒的价格，取其对数形式 自变量：自变量：Age:葡萄酒存放年数葡萄酒存放年数Temp:葡萄生长期平均气温葡萄生长期平均气温Ra

16、in:8/9月份降雨量月份降雨量Wrain:葡萄生长期前一年葡萄生长期前一年10月到次年月到次年3月降雨量月降雨量回归结果（括号里数据为标准误差）回归结果（括号里数据为标准误差）Ln(price)0.240age0.608temp SE (0.0075)(0.116)T ()0.0038rain0.00115wrain SE (0.00095)(0.2200051)TR0.828,R=0.811三、对联合假设的检验（三、对联合假设的检验（p161）02300:H.0,HTH,ii考虑以下的零假设：我们称之为联合假设，如果无法拒绝，表明 同时为零,则解释变量一起对被解释变量没有系统性影响联合假设

17、的意义：在实践中，可能出现一个或多个解释变量各自对被解释变量没有影响（即解释变量没有通过 检验，和零没有显著差异），但集体对解释变量有影响（即拒绝上述举例）回归方程的显著性检验回归方程的显著性检验F检验检验（检验因变量和诸自变量之间是否存在显著的（检验因变量和诸自变量之间是否存在显著的线性关系）线性关系）1、检验的假设：、检验的假设：0320kH：不全为零：),3,2(1kjHj0()2(,1)(1)ESSkHFF k nkRSSnk、成立，则3、根据样本数据，计算、根据样本数据，计算F统计量的值统计量的值 4(,1)FF k nk、对于给定显著性水平，查 分布表确定临界值，说明回归方程显著拒

18、绝原假设、0,),1(5HknkFF 变差来源 平方和 自由度 方 差 回 归 残 差 总 变 差ESSkESS kRSS-1n k(1)RSSnkTSS1n(1)ESS kFRSSnk拟合优度检验和F检验的对比 拟合优度检验和F检验都是对回归方程显著性的检验，都是把总离差TSS分解成回归平方和ESS与残差平方和RSS，并在此基础上构造统计量进行检验。F检验零假设成立等价于判定系数为零 模型对观测值的拟合程度越高，模型总体线性关系的显著性就越高。区别：F检验有精确的分布。返回Eviews软件入门软件入门 启动软件包启动软件包（双击双击“Eviews”，进入，进入Eviews主页）主页）一、创建

19、工作文件一、创建工作文件（点击（点击“File/New/Workfile/Ok”）出现出现“Workfile Range”，目的：，目的：1、选择数据频率（类型）选择数据频率（类型）：Annual(年度年度)Quartely（季度）（季度）Undated or irrequar（未注明日期或不规则的）（未注明日期或不规则的）2、确定确定Start date 和和End date出现出现“Workfile对话框（子窗口）对话框（子窗口）”中已有两个变量：中已有两个变量：c-常数项常数项 resid-模型将产生的残差项模型将产生的残差项 二、二、输入（编辑）数据输入（编辑）数据：法法1：键入：键入

20、：“data y x”（一元）或一元）或“data y x1 x2”（多元）（多元）/回车。回车。法法2：用鼠标单击用鼠标单击“Quick”；在出现的下拉菜单中单击；在出现的下拉菜单中单击“Empty Group”；在；在出现出现Group窗口窗口:数据表第一序列取名数据表第一序列取名y，键入，键入y的数据；再将数据表第二序列取的数据；再将数据表第二序列取名名x，键入，键入x的数据；的数据；/存盘（或最小化）。存盘（或最小化）。注：注：1）存盘）存盘 点点“File/save”，删除原文件名，输入，删除原文件名，输入“自命名自命名”/ok；2）读取（数）读取（数）点点“File/open”，点

21、自命名文件，点自命名文件/ok；三、作图三、作图（对数据进行浏览）（对数据进行浏览）法法1：单击：单击“Quick/Graph”在出现的对话框中键入在出现的对话框中键入 y x/ok；或；或y x1 x2-/ok；在出现的菜单中点击在出现的菜单中点击 Line Grap；在下拉菜单中选类型（如在下拉菜单中选类型（如Scatter Diagram(散点图散点图)/OK,出现图形；出现图形；-)法法2:键入键入 graph y x/ok 四、回归分析四、回归分析（用（用OLS估计未知参数）估计未知参数）法法1：点击点击“Quick/Estimate Equation”;在估计对话框中，键入在估计对

22、话框中，键入 y c x/ok 法法2:在命令框键入在命令框键入LS Y C X；或；或 LS Y C X1 X2/回车回车注：在注：在Equation框中，点击框中，点击Resids,可以出现可以出现Residual、Actual、Fitted的图形的图形 点击点击Stats，返回，返回 五、计算描述统计量五、计算描述统计量 点击点击:Quick/Group statistics/Descriptive statistics/Common Sample 如如:六、预测六、预测 在在Equation框中，点击框中，点击“Forecast/ok”，得样本期内被解释变量的拟合值，得样本期内被解释变

23、量的拟合值YF（拟合值与实际值的对比图、表）。（拟合值与实际值的对比图、表）。（键入：键入：“Show Y YF，可以对照比较其结果），可以对照比较其结果）1、内插预测、内插预测 2、外推预测外推预测（如（如:资料为资料为1978-1998，外推到，外推到1978-2000年）年）键入：键入：expand 1978 2000/回车回车 （Range扩大）扩大）键入：键入：smpl 1978 2000/回车回车 (sample扩大）扩大）键入：键入：data x/回车回车/yes,输入输入X的的1999、2000年资料年资料/最小化最小化 在在Equation框中，点击框中，点击“Forecas

24、t”，得对话框。对话框主要有，得对话框。对话框主要有 Forecast name(预测值序列名预测值序列名)SE（预测值标准差）（预测值标准差）YF se3、区间预测、区间预测:利用描述统计，可以先计算：利用描述统计，可以先计算：22):(22)()2)XXnXXxFxi（一元如)()2(2FFeesntY22)(11:iFFxXXnees）（其中210:XY例七、非线性模型的线性化七、非线性模型的线性化 genr X2=Xgenr X2=X*X X LKAQLKQLAKQlnlnlnln劳动投入量资本投入量；产量；例：genr LQ=log(Q)genr LQ=log(Q)22)(1iFFxXXnYes）（)(22FFYesntY）（讨论和作业讨论和作业 讨论讨论:8.3 作业作业8.128.138.18