大学课件：第4章 多元回归：估计与假设检验（新）.ppt

1、第3章 双变量模型:假设检验复习重点复习重点:1 1、参数估计掌握的基本知识：、参数估计掌握的基本知识：六个基本假定是满足最小二乘估计量三个性质的基本条件；六个基本假定是满足最小二乘估计量三个性质的基本条件；自变量前的参数估计量称为结构参数，其对应的标准误称为分布参数；自变量前的参数估计量称为结构参数，其对应的标准误称为分布参数；参数估计值、参数的估计标准误、参数估计值、参数的估计标准误、t t统计量三者之间的数量关系统计量三者之间的数量关系2 2、统计检验：、统计检验：判定系数检验：判定系数检验：度量了解释变量对被解释变量变异的解释比例。度量了解释变量对被解释变量变异的解释比例。变量显著性检

2、验：变量显著性检验：双边检验双边检验拒绝零假设，表明自变量与因变量之间的线性关拒绝零假设，表明自变量与因变量之间的线性关系显著；单边检验系显著；单边检验拒绝零假设，表明自变量对因变量有正向（或负向）影响。拒绝零假设，表明自变量对因变量有正向（或负向）影响。3 3、回归分析报告：估计方程、回归分析报告：估计方程、t t统计量、估计标准误、判定系数、统计量、估计标准误、判定系数、F F统计量、统计量、D.W.D.W.统计量统计量1第第4章章 多元回归：估计与假设检验多元回归：估计与假设检验本章讲授内容本章讲授内容:前三个内容类似于双变量模型（了解）；前三个内容类似于双变量模型（了解）；后两个内容有

3、所不同后两个内容有所不同4.14.1多元线性回归模型多元线性回归模型 4.24.2多元线性回归模型的若干假定多元线性回归模型的若干假定4.34.3多元线性回归模型的参数估计多元线性回归模型的参数估计 4.44.4多元线性回归模型的统计检验多元线性回归模型的统计检验(*)（判定系数（判定系数P77P77、变量显著性、模型整体检验变量显著性、模型整体检验）4.54.5对模型设定的讨论对模型设定的讨论（增减解释变量）（增减解释变量）(*)P83P832 4.1多元线性回归模型-一般表现形式一般表现形式多元线性回归模型多元线性回归模型:线性回归模型中的解释变量有多个。ikikiiiXXXY 22110

4、i=1,2,n习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。j也被称为偏回归系数偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化量;3ikikiiiXXXY 22110kikiikiiiiXXXXXXYE 2211021),|(总体回归模型（总体回归函数的随机表达形式）总体回归函数（非随机表达式）(1)多元线性回归模型-一般表现形式一般表现形式样本回归模型（样本回归函数的随机表达形式）ikikiiiieXXXY22110样本回归函数（非随机表达式）kikiiiiXXXY2211044.2多元线性回归模型的基本假定(类似于双变量模

5、型假设）假设1：回归模型是参数线性的，并且正确设定。0)(iE22)()(iiEVar0)(),(jijiECovnjiji,2,1,假设2：解释变量与随机项不相关。0),(ijiXCov假设7：随机项满足正态分布。),0(2Nikj,2,1 假设3、4、5：随机误差项具有零均值、同方差及不序列相关性。假设6：解释变量之间不存在完全共线性。即解释变量之间没有严格的线性关系。5假设6：解释变量之间不存在完全共线性。即解释变量之间没有严格的线性关系。012322330122133iiiiiiiiiYXXXXXX例：收入储蓄消费123XXX0112233iiiiiYXXX64.3 多元线性回归模型的

6、参数估计 一、普通最小二乘估计（计算机实现）二、参数估计量的方差和标准误（计算机实现，用于变量显著性检验）三、参数估计量的性质（同双变量）7根据最小二乘原理，求参数估计值0000210QQQQk其中2112)(niiiniiYYeQ2122110)(nikikiiiXXXYikikiiiXXXY 22110(1)普通最小二乘估计结构参数；分布参数8于是得到关于待估参数估计值的正规方程组正规方程组：kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102222110112211022110 解该（k+1）个方程组成

7、的线性代数方程组，即可得到(k+1)个待估参数的估计值,jjk 012。KikiiiiXXXY22110i=1,2nYXXX1)(9例：例：在的家庭收入家庭收入-学生数学分数学生数学分数例中，53650000215002150010111111)(22121iiinnXXXnXXXXXXXX39468400156741112121iiinnYXYYYYXXXYX可求得 0735.10003.00003.07226.0)(1EXX于是 7770.0172.10339648400156740735.10003.00003.07226.021E10(2)OLS估计量的方差和标准误随机误差项的方差的估

8、计 可以证明，随机误差项的方差的无偏估计量为 1122knkneiee114.4 多元线性回归模型的统计检验（主要介绍内容）一、拟合优度检验:多元判定系数R2 二、变量的显著性检验:t检验 三、方程的显著性检验:F检验 四、参数的置信区间:参数估计准确度 F检验与T检验的区别F与R2的关系F检验怎么做12 (1)(1)拟合优度检验拟合优度检验TSSRSSTSSESSR1213多元判定系数含义多元判定系数含义:度量度量K K个解释变量对因变个解释变量对因变量量Y Y变动的联合解释比例。变动的联合解释比例。ikikiiiXXXY 22110 （2）(4.7)变量的显著性检验（t检验）注意：k为模型

9、中自变量个数，k+1为估计参数个数)1(1kntkncStiiiiiiiee1122knkneiee1、设计原假设与备择假设：H0：i=0H1：i0（i=1,2k）3、给定显著性水平，可得到临界值t/2(n-k-1)2、由样本求出统计量t的数值4、通过比较 拒绝或接受H0 判定对应的解释变量是否应包括在模型中|t|t/2(n-k-1)或|t|t/2(n-k-1)|P|/2 14 三、方程的显著性检验三、方程的显著性检验(F检验检验)15 方程的显著性检验方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上在总体上是否显著成立作出推断。1、方程的显著性检验（方程的显著性检验（

10、F检验）与变量的显著性检验）与变量的显著性检验（检验（T检验）的区别。检验）的区别。变量的显著性检验，变量的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系,在单个解释变量在单个解释变量是否与被解释变量线性关系显著成立作出推断。F F检验的思想检验的思想来自于总离差平方和的分解式：TSS=ESS+RSS由于回归平方和2iyESS是解释变量X的联合体对被解释变量 Y 的线性作用的结果，考虑比值 22/iieyRSSESS 如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。因此,可通过该比值的大小对总体线性关系进行推断。162、方差分析

11、技术 17对TSS各组成部分进行分析变异来源变异来源平方和平方和自由度自由度MSS=SS/d.f.ESS解释变量个解释变量个数数k（或（或k-1）ESS/kRSSn-待估参数待估参数个数个数(k+1)(或或n-k)RSS/(n-k-1)TSSn-12YY2YY2YY3、(4.8)(4.8)方程显著性的方程显著性的F F检验检验 step1、可提出如下原假设与备择假设：H0：1=2=k=0；H1：j不全为0)1/(/knRSSkESSFstep3、给定显著水平给定显著水平，可得到临界值，可得到临界值F(k,n-k-1)step2、由样本求出统计量F的数值 step4、通过比较 拒绝或接受原假设H

12、0 判定原方程总体总体上上的线性关系是否显著成立(注意注意:k:k为模型中解释变量的个数为模型中解释变量的个数)F F(k,n-k-1)拒绝原假设；FF(k,n-k-1)接受原假设根据数理统计学中的知识根据数理统计学中的知识，在原假设，在原假设H0成立的条件成立的条件下，该统计量服从自由度下，该统计量服从自由度为为(k,n-k-1)的的F分布分布 184、关于F与R2的关系2ESSESSRTSSESSRSS22/11/1ESS kRkFRSS nkRnk211ESSRSSRSSRESSESS 说明这两个统计量同方向变动说明这两个统计量同方向变动。R2=0时，时，F=0；R2值越大，值越大，F值

13、越大；值越大；R2=1时，时，F趋于趋于R219 四、参数的置信区间(了解）参数的置信区间用来考察：在一次抽样中所估计的参数值离参参数的置信区间用来考察：在一次抽样中所估计的参数值离参数的真实值有多数的真实值有多“近近”。即即参数估计值的估计准确程度参数估计值的估计准确程度)1(1kntkncStiiiiiiiee在(1-)的置信水平下i的置信区间是(,)iitstsii22其中，t/2为显著性水平为、自由度为n-k-1的临界值。20思考题思考题 t=（5.858）(-0.668)(-0.494)模型1 R2=0.9960 d=3.1568 F=15.6 n=10 t=（7.464）(-2.4

14、69)(2.619)模型2 R2=0.9980 d=3.5241 F=17.6 n=10要求要求（1）解释两个模型判定系数的含义；（）解释两个模型判定系数的含义；（2）对两个模型的变量）对两个模型的变量进行显著性检验，并指出哪个模型更优；（进行显著性检验，并指出哪个模型更优；（3）对两个模型进行显）对两个模型进行显著性检验（著性检验（F检验）；（检验）；（4）解释模型）解释模型2中偏回归系数的含义。（显中偏回归系数的含义。（显著性水平著性水平=0.05）注：模型中注：模型中,Y-服装消费；服装消费；X1-可支配收入；可支配收入；X2-流动资流动资产产；X3-服装价格；服装价格；X4-相关商品价

15、格相关商品价格XXXY3210345.00379.01387.09400.0XXXY4313186.01882.01036.07593.12对模型1各问题回答（1）解释模型判定系数的含义；）解释模型判定系数的含义；答答:0.996表明三个解释变量表明三个解释变量(即可支配收入、流动资产、服装价格）即可支配收入、流动资产、服装价格）对被解释变量（即服装消费）变动的联合解释比例为对被解释变量（即服装消费）变动的联合解释比例为99.6%。（2）对模型）对模型1的变量进行显著性检验；的变量进行显著性检验；答答:首先首先,根据给出的显著水平根据给出的显著水平0.05,自由度自由度 n-k-1=10-3-

16、1=6,查表查表E-2得单侧检得单侧检验得临界值验得临界值t=1.943然后然后,分别将每个分别将每个t统计量的绝对值与统计量的绝对值与t临界值对比临界值对比.由于由于,x1对应的对应的t统计量的绝统计量的绝对值大于对值大于t 临界值临界值,拒绝原假设拒绝原假设,表明表明x1与与y之间的之间的线性关系显著成立。之间的之间的线性关系显著成立。同理同理,由于另外两个自变量的由于另外两个自变量的t 统计量绝对值小于其临界值，表明统计量绝对值小于其临界值，表明x2,x3与与y的的线性关系不显著线性关系不显著.（3）对模型）对模型1进行显著性检验（进行显著性检验（F检验）；检验）；答答:首先首先,根据显

17、著水平根据显著水平0.05,分子自由度分子自由度k=3,分母自由度分母自由度n-k-1=6这三个约束条这三个约束条件查表件查表E-3,得到得到F临界值为临界值为4.76将将F统计量与统计量与F临界值比较临界值比较,F统计量大于统计量大于F临界值临界值,拒绝原假设拒绝原假设,表明回归方程表明回归方程总体上显著成立总体上显著成立.（4）解释模型）解释模型1中偏回归系数的含义。（显著性水平中偏回归系数的含义。（显著性水平=0.05）在其他条件不变的情况下，城镇居民人均可支配收入每增加在其他条件不变的情况下，城镇居民人均可支配收入每增加1元，则城镇居元，则城镇居民服装消费平均增加民服装消费平均增加0.

18、1387元（或元（或0.14元）；另外两个可自行分析说明元）；另外两个可自行分析说明.提醒提醒:模型模型2的检验、分析由自己完成的检验、分析由自己完成.如何才能缩小置信区间？如何才能缩小置信区间？增大样本容量增大样本容量n n，因为在同样的样本容量下，因为在同样的样本容量下，n n越越大，大，t t分布表中的临界值越小，同时，增大样本容分布表中的临界值越小，同时，增大样本容量，还可使样本参数估计量的标准差减小；量，还可使样本参数估计量的标准差减小；提高模型的拟合优度提高模型的拟合优度，因为样本参数估计量的标，因为样本参数估计量的标准差与残差平方和呈正比，模型优度越高，残差准差与残差平方和呈正比

19、，模型优度越高，残差平方和应越小。平方和应越小。提高样本观测值的分散度提高样本观测值的分散度,一般情况下，样本观一般情况下，样本观测值越分散测值越分散，即观测值与其均值的离差平方和就，即观测值与其均值的离差平方和就越大，参数估计量的标准误越小越大，参数估计量的标准误越小,致使区间缩小。致使区间缩小。234.5 多元回归模型的相关讨论相关讨论 一、回归模型设定的讨论一、回归模型设定的讨论(4.10-4.11)什么时候增加新的解释变量？-(4.9)设定误差(4.12)受限最小二乘二、对回归结果的讨论二、对回归结果的讨论2R241、设定误差P83 4-524-534-3725模型设定中遗漏变量的问题

20、26如何知道需否增加解释变量“设定误差”说明 模型模型(3)中中,推导钟表年代推导钟表年代(Age)对拍卖价格影响时对拍卖价格影响时,假设了竞标假设了竞标人数人数(Bidders)是保持不变的是保持不变的;而在模型而在模型(1)中中,只是简单略去了竞标人数这个变量只是简单略去了竞标人数这个变量.换一句话换一句话说说,模型模型(3)中钟表年代对其拍卖价格的影响是净影响中钟表年代对其拍卖价格的影响是净影响(或单独或单独影响影响),而在模型而在模型(1)中中,竞标人数的影响并没有略去竞标人数的影响并没有略去.因而因而,模型模型(1)中钟表年代的系数反映了钟表年代的直接影响和竞标人数中钟表年代的系数反

21、映了钟表年代的直接影响和竞标人数的间接影响的间接影响.故此故此,模型模型(3)和模型和模型(1)的这种差异很好地反映了的这种差异很好地反映了偏回归系数的含义偏回归系数的含义.从三变量模型从三变量模型(3)的回归结果可以看出，钟表年代的回归结果可以看出，钟表年代(Age)和竞和竞标人数标人数(Bidders),无论是单独看无论是单独看,还是联合看还是联合看,都对拍卖价格有都对拍卖价格有重要影响重要影响.因此因此,从模型从模型(1)中省略竞标人数中省略竞标人数(Bidders)这个变量这个变量,会导致模型中遗漏相关变量的会导致模型中遗漏相关变量的设定偏差设定偏差或或设定误差设定误差.同样道理同样道

22、理,从回归模型从回归模型(2)中省略钟表年代中省略钟表年代(Age)这个变量这个变量,也会也会导致设定误差存在导致设定误差存在.判定系数与校正（调整）的判定系数判定系数与校正（调整）的判定系数(根据模型中解释变量个数进行调整根据模型中解释变量个数进行调整)TSSRSSTSSESSR12)1/()1/(12nTSSknRSSR211(1)1nRnk n-k-1为残差平方和的自由度，n-1为总体平方和的自由度如果在模型中增加一个解释变量，如果在模型中增加一个解释变量，R2往往增大往往增大现实情况往往是，由增加解释变量个数引起的现实情况往往是，由增加解释变量个数引起的R2的增大与拟合好坏无关的增大与

23、拟合好坏无关，R2需调整需调整校正的判定系数剔除了变量个数对拟合优度的影响校正的判定系数剔除了变量个数对拟合优度的影响282、什么时候增加新的解释变量？-的应用2R2、什么时候增加新的解释变量？-的应用的应用2R(1)只要校正判定系数只要校正判定系数 值增加，就可以增加新的解释变量值增加，就可以增加新的解释变量。注意注意:应变量相同的回归模型才可以对应变量相同的回归模型才可以对 进行比较。进行比较。2R2R*赤池信息准则和施瓦茨准则 nknAIC)1(2lneennknAClnlnee(3)(3)这两准则均要求仅当所增加的解释变量能够减少这两准则均要求仅当所增加的解释变量能够减少AICAIC值

24、或值或ACAC值时才在原模型中增加该解释变量。值时才在原模型中增加该解释变量。(补充内容补充内容)29(2)如果拟新增解释变量的参数估计值的如果拟新增解释变量的参数估计值的t绝对值大于绝对值大于1，则校，则校正的判定系数正的判定系数 会增加。会增加。2R 该方法该方法运用于对回归模型增加或减少解释变量的运用于对回归模型增加或减少解释变量的判断中判断中考虑如下两个回归模型：kkXXY110qkqkkkkkXXXXY11110(有约束模型有约束模型)(无约束模型无约束模型)施加约束条件约束条件H0：021qkkk303、受限最小二乘检验思想：用（检验思想：用（RSSR-RSSU）的大小检验约束的真

25、实性的大小检验约束的真实性若约束条件为真 受约束回归模型与无约束回归模型具有相同的解释能力 （RSSR-RSSU）较小若约束条件无效 受约束回归模型与无约束回归模型解释能力有差异（RSSR-RSSU）较大如果约束条件为如果约束条件为真真，RSSR 与 RSSU的差异很小，则计算的F值较小，即不拒绝该约束条件,说明受限模型成说明受限模型成立立,受限条件对应的解释变量对被解释变量没有影响。)1,()1/()/()(URUUURUURknkkFknRSSkkRSSRSSF如果约束条件无效约束条件无效，RSSR 与 RSSU的差异较大，计算的F值也较大，即拒绝该约束条件,非受限模型成立非受限模型成立。

26、F临界F值，则拒绝约束条件；注意，q=kU-kR恰为约束条件的个数。q为约束条件(受限自变量)个数;k+q非受限模型自变量个数K+q+1为自变量个数(含截距)31构建检验统计量为：3、受限最小二乘222/1/1urrurRRqRnkq3、受限最小二乘012YAgeBidders01YAge无约束模型：有约束模型：施加约束条件：202urR2rRFF临界临界F值值，则拒绝约束条件,表明受限模型的约束无效,非受非受限模型成立；限模型成立；FF临界临界F值值，则接受约束条件,表明受限模型约束有效受限模型约束有效,模型中不含有约束条件所对应的解释变量.32222/1/1urrurRRqRnkq举例举例

27、:食品消费函数食品消费函数无约束模型无约束模型:lnQ=5.53+0.540lnx-0.258lnp1-0.288lnp0 (59.4)(14.78)(-1.45)(-1.41)R2=0.9773 F=258.84 n=22 RSSU=0.01775有约束模型有约束模型:B3=B4=0,lnQ=5.74+0.2213lnx (38.14)(11.74)R2=0.8733 F=137.9 RSSr=0.09923要求要求:计算计算F统计量统计量.并进行并进行F检验检验,是拒绝约束条件是拒绝约束条件,还是不拒绝约束还是不拒绝约束条件条件说明说明:无约束模型参数符号依次为无约束模型参数符号依次为:B

28、1、B2、B3、B4提示提示:若若F大于大于F临界值临界值,则拒绝约束条件则拒绝约束条件,非约束模型显著成立非约束模型显著成立,说明说明不能去掉不能去掉p1和和p0两个变量两个变量反之反之,则接受约束条件则接受约束条件,约束模型成立约束模型成立,模型中不应包含模型中不应包含p1和和p0两个变两个变量量.9735.02R8670.02R二、对回归结果的讨论二、对回归结果的讨论 例例4.1(P87)4.1(P87)设定模型4.5 多元回归模型的相关讨论 34 根据经济理论，进行先验假定进行回归，得到结果 经济意义检验 对偏回归系数含义进行解释变量的显著性检验方程总体的显著性检验报告拟合优度二、对回

29、归结果的讨论二、对回归结果的讨论4.5 多元回归模型的相关讨论 4.3 多元线性回归模型的统计检验 一、回归模型设定的讨论一、回归模型设定的讨论1、设定误差2、2R3、受限最小二乘F检验与T检验的区别F与R2的关系F检验怎么做方程的显著性检验F检验第四章小结 多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的统计检验36假设要求你建立一个计量经济学模型来说明在学校跑道上慢跑半小时或半小时以上的人数，以便决定是否修建第二条跑道以满足所有的锻炼者，你通过整个学年收集数据，得到两个可能的解释性方程：2123125.0 15.01.01.5,0.75YXXXR2124123.0 14.0

30、5.53.7,0.73YXXXR其中，Y:某天慢跑者的人数，X1:该天的降雨量（单位：毫米），X2:该天的日照时间（单位：小时），X3:该天的最高温度（单位：华氏温度），X4:第二天需交学期论文的班级数。请回答下列问题：（1）这两个方程你认为哪个更合理些，为什么？（2）为什么用相同的数据去估计，相同变量的系数符号却不同？3738本章作业：1、做在书上：4.3；4.4；4.5；4.62、自己理解：91页的术语概念；4.13、做在作业本上：4.2；4.9；4.11；4.12练习题 在研究生产函数时，得到以下两种模型结果：在研究生产函数时，得到以下两种模型结果：lnQ=-5.04+0.887lnK+

31、0.893lnL （1）s=(1.40)(0.087)(0.137)R2=0.878 n=21 lnQ=-8.57+0.0272t+0.460lnK+1.285lnL （2）s=(2.99)(0.0204)(0.333)(0.324)R2=0.889 n=21 其中，其中，Q=产量，产量，K=资本，资本，L=劳动时数，劳动时数，t=时间时间,n=样本样本容量。容量。请完成下列问题：请完成下列问题：1、解释模型（、解释模型（1）中偏回归系数的含义；并指出所有回归系数符合经）中偏回归系数的含义；并指出所有回归系数符合经济意义吗？济意义吗？2、在显著水平、在显著水平0.05条件下，检验模型（条件下，检验模型（1），零假设：资本对粮食产），零假设：资本对粮食产出量无影响；备择假设：资本对粮食产出量有正向影响。出量无影响；备择假设：资本对粮食产出量有正向影响。3、你会接受零假设：模型（、你会接受零假设：模型（1）两个解释变量在很大程度上解释了粮）两个解释变量在很大程度上解释了粮食产量的变动吗？食产量的变动吗？