多元回归模型课件.ppt

1、第三章第三章 经典单方程计量经济学模型：多经典单方程计量经济学模型：多元线性回归模型元线性回归模型Multiple Linear Regression Model本章内容本章内容 多元线性回归模型概述多元线性回归模型概述 多元线性回归模型的参数估计多元线性回归模型的参数估计 多元线性回归模型的统计检验多元线性回归模型的统计检验 多元线性回归模型的预测多元线性回归模型的预测 可化为线性的非线性模型可化为线性的非线性模型 受约束回归受约束回归3.1 3.1 多元线性回归模型概述多元线性回归模型概述(Regression Analysis)一、多元线性回归模型一、多元线性回归模型二、多元线性回归模型

2、的基本假设二、多元线性回归模型的基本假设一、多元线性回归模型一、多元线性回归模型总体回归模型总体回归模型 总体回归模型：总体回归模型：总体回归函数的随机表达形式总体回归函数的随机表达形式k为解释变量的数目。习惯上，把常数项看成为为解释变量的数目。习惯上，把常数项看成为虚变量的系数，该虚变量的样本观测值始终取虚变量的系数，该虚变量的样本观测值始终取1 1。于是，模型中解释变量的数目为于是，模型中解释变量的数目为（k+1+1）。j j称为称为回归参数回归参数（regression coefficient）。）。kkXXXY22110 总体回归函数：总体回归函数：描述在给定解释变量描述在给定解释变量

3、Xi条件下被条件下被解释变量解释变量Yi的条件均值。的条件均值。j也被称为也被称为偏回归系数偏回归系数(partial regression coefficients)，表示在其他解释变量保持不变的，表示在其他解释变量保持不变的情况下，情况下，Xj每变化每变化1个单位时，个单位时，Y的均值的均值E(Y)的的变化。变化。或者说或者说j给出了给出了Xj的单位变化对的单位变化对Y均值的均值的“直直接接”或或“净净”（不含其他变量）影响。（不含其他变量）影响。总体回归函数总体回归函数kkKXXXXXXYE2211021),|(样本回归函数与样本回归模型样本回归函数与样本回归模型 从一次抽样中获得的总体

4、回归函数的近似，称为从一次抽样中获得的总体回归函数的近似，称为样本回归函数样本回归函数（sample regression function）。）。样本回归函数的随机形式，称为样本回归函数的随机形式，称为样本回归模型样本回归模型（sample regression model）。kkXXXY22110eXXXYkk22110 在一个容量为n的样本下，样本回归函数和样本回归模型可表示为：ikkiiiXXXY22110iikkiiieXXXY22110样本回归函数的矩阵表示样本回归函数的矩阵表示XYeXYnYYYY21k210neeee21nknnkkXXXXXXXXXX2122221112111

5、11二、多元线性回归模型的基本假设二、多元线性回归模型的基本假设 假设假设1：模型设定正确假设。：模型设定正确假设。假设假设2：解释变量：解释变量X1，X2，Xk是非随机的或固定是非随机的或固定的。且的。且Xj之间不存在严格线性相关性。之间不存在严格线性相关性。假设假设3：各在所抽取的样本中具有变异性，而且随着样：各在所抽取的样本中具有变异性，而且随着样本容量的无限增加，各解释变量的样本方差趋于一个本容量的无限增加，各解释变量的样本方差趋于一个非零的有限常数。非零的有限常数。jjniijQXXn21)(1假设假设4：随机误差项具有条件零均值、同方差以及不序：随机误差项具有条件零均值、同方差以及

6、不序列相关性。列相关性。0),|(21kiXXXE221),|(kiXXXVar0),|,(21kjiXXXCov假设5：解释变量与随机误差项之间不相关。解释变量与随机误差项之间不相关。0),(iijXCov假设6：随机误差项满足正态分布。),0(,|221NXXXki3.2 3.2 多元线性回归模型的估计多元线性回归模型的估计 一、普通最小二乘估计一、普通最小二乘估计二、参数估计量的性质二、参数估计量的性质 三、样本容量问题三、样本容量问题四、估计实例四、估计实例 一、普通最小二乘估计一、普通最小二乘估计(OLS)(OLS)YXXX1)(12knee在满足基本假设的情况下，多元线性在满足基本

7、假设的情况下，多元线性模型结构参数模型结构参数 的的普通最小二乘估计普通最小二乘估计具具有有线性性线性性、无偏性无偏性、有效性有效性。同时，随着样本容量增加，参数估计同时，随着样本容量增加，参数估计量具有量具有渐近无偏性、渐近有效性、一渐近无偏性、渐近有效性、一致性致性。二、参数估计量的性质二、参数估计量的性质三、样本容量问题三、样本容量问题1 1、最小样本容量最小样本容量 所谓所谓“最小样本容量最小样本容量”，即从最小二乘原理和最，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。如何，所要求的样本容量的

8、下限。样本最小容量必须不少于模型中解释变量的样本最小容量必须不少于模型中解释变量的数目（包括常数项）数目（包括常数项）,即 n k+12 2、满足基本要求的样本容量、满足基本要求的样本容量 从统计检验的角度从统计检验的角度：n30 时，Z检验才能应用；n-k8时,t分布较为稳定。一般经验认为一般经验认为:当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。模型的良好性质只有在大样本下才能得到理论模型的良好性质只有在大样本下才能得到理论上的证明。上的证明。四、例题四、例题地区城镇居民消费模型地区城镇居民消费模型 被解释变量：地区城镇居民人均消费被解释变量：地区城镇居民人均消费Y 解释

9、变量：解释变量：地区城镇居民人均可支配收入地区城镇居民人均可支配收入X1 前一年地区城镇居民人均消费前一年地区城镇居民人均消费X2 样本：样本：2019年，年，31个地区个地区数据数据地区 2006年消费支出 Y 2006年可支配收入 X1 2005年消费支出 X2 地区 2006年消费支出 Y 2006年可支配收入 X1 2005年消费支出 X2 北 京 14825.4 19977.5 13244.2 湖 北 7397.3 9802.7 6736.6 天 津 10548.1 14283.1 9653.3 湖 南 8169.3 10504.7 7505.0 河 北 7343.5 10304.6

10、 6699.7 广 东 12432.2 16015.6 11809.9 山 西 7170.9 10027.7 6342.6 广 西 6792.0 9898.8 7032.8 内蒙古 7666.6 10358.0 6928.6 海 南 7126.8 9395.1 5928.8 辽 宁 7987.5 10369.6 7369.3 重 庆 9398.7 11569.7 8623.3 吉 林 7352.6 9775.1 6794.7 四 川 7524.8 9350.1 6891.3 黑龙江 6655.4 9182.3 6178.0 贵 州 6848.4 9116.6 6159.3 上 海 14761.

11、8 20667.9 13773.4 云 南 7379.8 10069.9 6996.9 江 苏 9628.6 14084.3 8621.8 西 藏 6192.6 8941.1 8617.1 浙 江 13348.5 18265.1 12253.7 陕 西 7553.3 9267.7 6656.5 安 徽 7294.7 9771.1 6367.7 甘 肃 6974.2 8920.6 6529.2 福 建 9807.7 13753.3 8794.4 青 海 6530.1 9000.4 6245.3 江 西 6645.5 9551.1 6109.4 宁 夏 7205.6 9177.3 6404.3 山

12、 东 8468.4 12192.2 7457.3 新 疆 6730.0 8871.3 6207.5 河 南 6685.2 9810.3 6038.0 变量间关系变量间关系6000800010000120001400016000500010000150002000025000X1Y变量间关系变量间关系6000800010000120001400016000400060008000100001200014000X2YOLSOLS估计估计OLSOLS估计结果估计结果经济意义：经济意义：X1的回归系数为的回归系数为0.56，表，表示在其他变量不变的情况示在其他变量不变的情况下，人均可支配收入每增下，人

13、均可支配收入每增加加1元，人均消费支出可元，人均消费支出可增加增加0.56元。元。X2的回归系数为的回归系数为0.25，表，表示在其他变量不变的情况示在其他变量不变的情况下，上一年人均消费支出下，上一年人均消费支出每增加每增加1元，下一年人均元，下一年人均消费支出可增加消费支出可增加0.25元。元。回归方程2125.056.033.143iiiXXY（0.55）（7.38）2.20随机误差项的方差随机误差项的方差9.1489311231417009312knee3.3 3.3 多元线性回归模型的统计检验多元线性回归模型的统计检验 Statistical Test of Multiple Lin

14、ear Regression Model 一、拟合优度检验一、拟合优度检验 二、方程的显著性检验二、方程的显著性检验(F(F检验检验)三、变量的显著性检验（三、变量的显著性检验（t t检验）检验）四、参数的置信区间四、参数的置信区间 一、拟合优度检验一、拟合优度检验 Goodness of Fit1 1、概念、概念对样本回归直线与样本观测值之间拟对样本回归直线与样本观测值之间拟合程度的检验。合程度的检验。2 2、可决系数与调整的可决系数、可决系数与调整的可决系数 总离差平方和的分解总离差平方和的分解ESSRSSYYYYTSSiii22)()(可决系数（可决系数（Coefficient of D

15、etermination）TSSRSSTSSESSR12该统计量越接近于1，模型的拟合优度越高。在应用过程中发现，如果在模型中增加解释变量，R2往往增大。这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。但是，由增加解释变量引起的R2的增大与拟合好坏无关，所以R2需调整。调整的可决系数调整的可决系数（adjusted coefficient of determination）)1/()1/(12nTSSknRSSR其中：n-k-1为残差平方和的自由度，n-1为总体平方和的自由度。调整的可决系数多大才是合适的？调整的可决系数多大才是合适的？回归平方和回归平方和ESS的自由度为：的自由度

16、为：k 3、赤池信息准则和施瓦茨准则、赤池信息准则和施瓦茨准则 为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有:赤池信息准则赤池信息准则（Akaike information criterion,AIC）nknAIC)1(2lnee施瓦茨准则施瓦茨准则（Schwarz criterion，SC）这两准则均要求这两准则均要求仅当所增加的解释变量能够减少仅当所增加的解释变量能够减少AICAIC值或值或SCSC值时才在原模型中增加该解释变量值时才在原模型中增加该解释变量。nnknSClnlnee地区城镇居民消费模型（地区城镇居民消费模型（k=2）地区城镇居民消费模型（地区城镇居

17、民消费模型（k=1）与与k=2比较，有所减小但变化不大比较，有所减小但变化不大二、方程的显著性检验二、方程的显著性检验(F(F检验检验)Testing the Overall Significance of a Multiple Regression(the F test)1、方程显著性的、方程显著性的F检验检验 方程的显著性检验，旨在对模型中被解释变量方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系与解释变量之间的线性关系在总体上在总体上是否显著成是否显著成立作出推断。立作出推断。在多元模型中，即检验模型在多元模型中，即检验模型中的中的参数参数 j是否显著是否显著不为不为0。

18、Hk012000:,0),2,1(:1不全为kjHjiikkiiiXXXY22110 F F检验的思想检验的思想来自于总离差平方和的分解式来自于总离差平方和的分解式 TSS=ESS+RSS由于回归平方和2iyESS是解释变量 X的联合体对被解释变量 Y 的线性作用的结果，考虑比值 22/iieyRSSESS 如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。因此因此,可通过该比值的大小对总体线性关系进行推可通过该比值的大小对总体线性关系进行推断断。在原假设在原假设H0成立的条件下成立的条件下，统计量，统计量 给定显著性水平，可得到临界值F(k

19、,n-k-1)，由样本求出统计量F的数值，如果 F F(k,n-k-1)，拒绝原假设H0，则原方程总体上总体上的线性关系显著成立。FF(k,n-k-1)，接受原假设H0，则原方程总体总体上上的线性关系不能显著成立。)1,()1/(/knkFknRSSkESSF地区城镇居民消费模型地区城镇居民消费模型拒绝零假设，犯错误的概率为0在Eviews结果中，可根据F统计量的P值来决定是否拒绝H0假设。即p0.05,接受零假设，反之则拒绝零假设。3、关于拟合优度检验与方程显著性检验关关于拟合优度检验与方程显著性检验关系的讨论系的讨论)1/()1/(12nTSSknRSSR)1/(/knRSSkESSFkF

20、knnR1112)1/()1(/22knRkRF 对于一般的实际问题，在对于一般的实际问题，在5%5%的显著性水平下，的显著性水平下，F F统计量的临界值所对应的统计量的临界值所对应的R R2 2的水平是较低的。所以，的水平是较低的。所以，不宜过分注重不宜过分注重R R2 2值，应注重模型的经济意义；在进值，应注重模型的经济意义；在进行总体显著性检验时，显著性水平应该控制在行总体显著性检验时，显著性水平应该控制在5%5%以以内。内。kFknnR1112三、变量的显著性检验（三、变量的显著性检验（t t检验）检验）Testing the Significance of Variables(the

21、 t test)方程的方程的总体线性总体线性关系显著关系显著不等于不等于每个解释变量每个解释变量对对被解释变量的影响都是显著的。被解释变量的影响都是显著的。必须对每个解释变量进行显著性检验，以决定是必须对每个解释变量进行显著性检验，以决定是否作为解释变量被保留在模型中。否作为解释变量被保留在模型中。这一检验是由对变量的这一检验是由对变量的 t 检验完成的。检验完成的。1、t统计量统计量 以cjj表示矩阵(XX)-1 主对角线上的第j个元素1122knkneiee)1(1kntkncstjjjjjjjeekjcVarjjj,2,1)(212)()(XXVar),(2jjjjcN2 2、t t检验

22、检验 设计原假设与备择假设：H1：j 0 给定显著性水平，可得到临界值t/2(n-k-1)，由样本求出统计量t的数值，通过|t|t/2(n-k-1)或|t|t/2(n-k-1)判断拒绝或不拒绝原假设H0，从而判定对应的解释判定对应的解释变量是否应包括在模型中。变量是否应包括在模型中。H0：j=0 （j=1,2k）地区城镇居民消费模型地区城镇居民消费模型在Eviews结果中，可根据t统计量的P值来决定是否拒绝H0假设。即p0.05,接受零假设，反之则拒绝零假设。3、关于常数项的显著性检验、关于常数项的显著性检验 T T检验同样可以进行。检验同样可以进行。一般不以一般不以t t检验决定常数项是否保

23、留在模型中，检验决定常数项是否保留在模型中，而是从经济意义方面分析回归线是否应该通过原而是从经济意义方面分析回归线是否应该通过原点。点。四、参数的置信区间四、参数的置信区间 Confidence Interval of Parameter1、参数的置信区间、参数的置信区间在在(1-(1-)的的置信水平下置信水平下)1(1kntkncstjjjjjjjee),(22jjStStjj地区城镇居民消费模型地区城镇居民消费模型1136.0S2501.00753.0S5556.02121，从回归计算中得到：048.2)28()1(t05.0025.02tkn，查表得：如果给定），（），（的置信区间分别为

24、和代入公式计算得到4828.00174.07098.04014.0212 2、如何才能缩小置信区间？、如何才能缩小置信区间？增大样本容量增大样本容量n n，因为在同样的样本容量下，因为在同样的样本容量下，n n越越大，大，t t分布表中的临界值越小，同时，增大样本容量，分布表中的临界值越小，同时，增大样本容量，还可使样本参数估计量的标准差减小。还可使样本参数估计量的标准差减小。提高模型的拟合优度提高模型的拟合优度，因为样本参数估计量的标，因为样本参数估计量的标准差与残差平方和呈正比，模型优度越高，残差平准差与残差平方和呈正比，模型优度越高，残差平方和应越小。方和应越小。提高样本观测值的分散度提

25、高样本观测值的分散度,一般情况下，样本观测一般情况下，样本观测值越分散值越分散，(XX)-1的分母的的分母的|XX|的值越大，致使区的值越大，致使区间缩小。间缩小。3.4 3.4 多元线性回归模型的预测多元线性回归模型的预测 一、一、E(Y0)的置信区间的置信区间 二、二、Y0的置信区间的置信区间(1-)的置信水平下,E(Y0)的置信区间置信区间：010000100)()()(22XXXXXXXXtYYEtY其中，t/2为(1-)的置信水平下的临界值临界值。一、一、E(Y0)的置信区间的置信区间二、二、Y0的置信区间的置信区间010000100)(1)(122XXXXXXXXtYYtY(1-)

26、的置信水平下,Y0的置信区间置信区间：3.5 3.5 回归模型的其他函数形式回归模型的其他函数形式 一、模型的类型与变换一、模型的类型与变换 二、非线性回归实例二、非线性回归实例 说说 明明 在实际经济活动中，经济变量的关系是复杂的，在实际经济活动中，经济变量的关系是复杂的，直接表现为线性关系的情况并不多见。直接表现为线性关系的情况并不多见。如著名的如著名的恩格尔曲线恩格尔曲线(Engle curves)表现为表现为幂函数幂函数曲线曲线形式、宏观经济学中的形式、宏观经济学中的菲利普斯曲线菲利普斯曲线（Pillips cuves）表现为）表现为双曲线双曲线形式等。形式等。但是，大部分非线性关系又

27、可以通过一些简单的但是，大部分非线性关系又可以通过一些简单的数学处理，使之化为数学上的线性关系，从而可数学处理，使之化为数学上的线性关系，从而可以运用线性回归模型的理论方法。以运用线性回归模型的理论方法。一、模型的类型与变换一、模型的类型与变换 1 1、倒数模型、多项式模型与变量的直接置换法、倒数模型、多项式模型与变量的直接置换法 例如，商品的需求曲线是一种双曲线形式，商品的需求量例如，商品的需求曲线是一种双曲线形式，商品的需求量Q与商与商品的价格品的价格P之间的关系表现为非线性关系：之间的关系表现为非线性关系：Pb1aQ1将方程变为：的置换，用P1XQ1YbXaY一、模型的类型与变换一、模型的类型与变换 1 1、倒数模型、多项式模型与变量的直接置换法、倒数模型、多项式模型与变量的直接置换法 再如，再如，描述税收与税率关系的拉弗曲线拉弗曲线：抛物线 s=a+b r+c r2 c0 s：税收；r：税率设X1=r，X2=r2，则原方程变换为 s=a+b X1+c X2 ,c0.05所以，不拒绝原假所以，不拒绝原假设，原假设为真。设，原假设为真。