多元回归分析推断课件.ppt

1、1计量经济学导论计量经济学导论 刘愿刘愿多元回归分析：推断 y = b0 + b1x1 + b2x2 + . . . bkxk + u2计量经济学导论计量经济学导论 刘愿刘愿关于假设检验n考虑一个选举问题：假定在一次选举中有两个候选人A和B。据报道，候选人A已得到42%的选票，候选人B得到58%的选票。姑且把这个百分比看成选民总体的真正百分比。候选人A深信更多的民众会投他的票，因此想调查选举是否有作弊情况，并雇用一个咨询机构随机抽取100名选举人的样本，所收集的样本中有53人投了候选人A的票。这一样本估计值53%明显超过所报告的总体值42%，候选人A应否据此作出结论说选举存在作弊？3计量经济学

2、导论计量经济学导论 刘愿刘愿n设立一个假设检验（hypothesis test），令代表赞成候选人A的总体真实比例，令所报告的结果为真实的假设，陈述为： H0: =0.42 虚拟假设（null hypothesis） H1: 0.42 对立假设（alternative hypothesis) 在上例中，100个随机样本中究竟有多少人投候选人A的票才能够足以使A能否作出H0错误而H1正确的结论？（合理的勿容置疑的证据）4计量经济学导论计量经济学导论 刘愿刘愿n假设检验中会犯的两种错误： 第类错误：拒绝一个其实是真实的虚拟假设 第类错误：未拒绝一个实际上是错误的虚拟 假设 检验的显著性水平：犯第类

3、错误的概率 其含义为：当H0为真实时拒绝H0的概率 00PH |H拒绝5计量经济学导论计量经济学导论 刘愿刘愿n经典的假设检验要求设定a值，从而量化我们对第类错误的容忍度。通常a值有0.10，0.05，0.01。n一旦选定显著水平，检验的目标是把第类错误的概率减到最小。即对所有有意义的对立情况使一个检验的功效最大。一个检验的功效是1减去第类错误的概率。数学上表示为： 0PH |=1-PII| 拒绝第 类错误6计量经济学导论计量经济学导论 刘愿刘愿检验关于正态总体均值的假设n为了相对于一个对立假设而检验一个虚拟假设，需要挑选一个检验统计量统计量和一个临界值临界值。n给定一个统计量，即可定义一个拒

4、绝规则来决定什么时候舍弃H0而选取H1.所有拒绝规则都是拿一个检验统计量的值t来同一个临界值c做比较作为依据的。n拒绝域：所有导致拒绝虚拟假设的t值的全体。7计量经济学导论计量经济学导论 刘愿刘愿n检验来自一个 总体的关于均值 的假设。2Normal，00H：101010HHH：虚拟假设单侧对立假设双侧对立假设8计量经济学导论计量经济学导论 刘愿刘愿n当样本均值 “足够”地大于 时，我们便应拒绝H0而接受H1。如何确定 已大到足以在选定的显著水平上拒绝H0？n检验统计量t：在虚拟假设下，随机变量t有一个tn-1分布。n临界值c：5%的显著水平10H：y0y 00tn ysyse y0P tc|

5、H=0.059计量经济学导论计量经济学导论 刘愿刘愿n拒绝规则： tc （c为tn-1分布中的第100(1-a)百分位数）10计量经济学导论计量经济学导论 刘愿刘愿双尾检验（two tailed test)n拒绝规则： | t |c 给出100a%显著水平的检验 （c为tn-1分布中的第100(1-a/2)百分位数）11计量经济学导论计量经济学导论 刘愿刘愿 经典线性模型假定n给定高斯-马尔科夫假定，OLS是最优线性无偏估计。 n为了做经典的假设检验，我们需要添加额外一个假定，即MLR.6:u 独立于x1, x2, xk ，且u 服从标准正态分布，即u Normal(0,2)nMLR.1-ML

6、R.6: 经典线性模型假设（CLM）12计量经济学导论计量经济学导论 刘愿刘愿经典线性回归假设（续）n在经典线性回归假设下，OLS 不仅是最优线性无偏的，而且是方差最小的无偏估计。n经典线性回归总体假设： y|x Normal(b0 + b1x1 + bkxk, 2)n虽然我们假设u服从正态分布，但有时候并非如此： u中的众多因素可能各有极为不同的总体分布； u是不可观测因素的一个复杂函数，而非线性可加； 假定u的正态性，实际上是一个经验性问题。n大样本能够让u近似的满足正态性。13计量经济学导论计量经济学导论 刘愿刘愿.x1x2简单回归的同方差正态分布E(y|x) = b0 + b1xyf(

7、y|x)Normaldistributions14计量经济学导论计量经济学导论 刘愿刘愿定理4.1 正态抽样分布j1 Normal, Normal 0,1 jjjjjjnjjijjijjiVarsdw urSSRbbbbbbbbb在经典线性回归假设下，以自变量样本值为条件，有：则服从标准正态分布，因为它是误差的线性组合：15计量经济学导论计量经济学导论 刘愿刘愿n定理4.1推广： 011.,kjbbbb的任何线性组合也都是正态分布的；2.的任何一个子集也都有一个联合正态分布。16计量经济学导论计量经济学导论 刘愿刘愿4.2 t检验j1221/221/224.1 (t) t 1.11jjn kj

8、jjjjjsdssetnkSSTRSSTRebbbbb 定理标准化参数估计值的 分布在经典线性回归假设下，注意这是 分布（与正态分布相对应），因为需要通过估计，所以自由度为17计量经济学导论计量经济学导论 刘愿刘愿t检验（续）n标准化参数的样本分布使得我们可以进行假设检验。n从虚拟假设开始，如H0: bj=0；如果接受虚拟假设，则意味着在控制其他因素不变的情况下，xj 对 y没有效应。18计量经济学导论计量经济学导论 刘愿刘愿t检验（续）j0t tH .jjjtsebbbb为了进行我们的检验，首先需要形成 的 统计量: 根据 统计量及一个拒绝规则来决定是否接受虚拟假设19计量经济学导论计量经济

9、学导论 刘愿刘愿t检验：单侧备选假设n除了虚拟假设H0之外，我们还需要一个备选假设H1和一个显著性水平或当H0为真时拒绝它的概率。nH1可以是单侧的，也可以是双侧的。 H1: bj 0 及 H1: bj 0c01 单侧备选假设（续）无法拒绝拒绝22计量经济学导论计量经济学导论 刘愿刘愿单侧还是双侧假设nt分布是对称的，检验H1: bj 0 是非常直观的，临界值变成负数。n我们可以拒绝虚拟假设，如果t c,则我们无法拒绝虚拟假设。n当bj 的符号在理论中是不明确的话，双侧对立假设就是有用的。n对双侧检验来说，我们是根据/2来确定临界值，如果t的绝对值大于C，则拒绝H1: bj 0 。23计量经济

10、学导论计量经济学导论 刘愿刘愿yi = b0 + b1Xi1 + + bkXik + uiH0: bj = 0 H1: bj0c0/21 -c/2双侧对立假设拒绝拒绝无法拒绝24计量经济学导论计量经济学导论 刘愿刘愿总结：H0: bj = 0n除非特别说明，对立假设均假定为双侧的。n如果我们拒绝虚拟假设，通常我们会说：“在在 %的水平上，的水平上， xj 在统计上显著异于零。在统计上显著异于零。”n如果我们无法拒绝虚拟假设，通常我们说 “在在 % 的水平上，的水平上，xj 在统计上不显著。在统计上不显著。”25计量经济学导论计量经济学导论 刘愿刘愿n例子4.2：学生成绩及学校规模26计量经济学

11、导论计量经济学导论 刘愿刘愿n例子4.3 大学城GPA的决定因素0.083/0.0263.192.58 1%GPAskippedtb （显著性水平的临界值）比较一个没有逃课的学生及一个一周逃课5次的学生，保持其他因素不变，两人的预测值相差多少？27计量经济学导论计量经济学导论 刘愿刘愿检验其他假设nT检验的更一般形式是：H0: bj = aj n在这种情况下，t统计量的表述是 where 0 for the standard testjjjjatseabb28计量经济学导论计量经济学导论 刘愿刘愿n例子：校园犯罪与注册人数由4.14可见，犯罪对注册人数的估计弹性1.27在对立假设b1 1的方向

12、上。但是否有足够的证据断定b1 1呢？H0：b1=1; H1：b111.27 1 0.110.27 0.112.451.66t 29计量经济学导论计量经济学导论 刘愿刘愿计算t检验的p值n事前指定一个显著性水平的不足之处： 不存在一个“正确的”的显著性水平； 可能隐藏假设检验结果方面的有用信息 t=1.85， c（40，5%）=2.021， c（40，10%）=1.684，n检验p值：给定t统计量的观测值，能拒绝虚拟假设的最小显著性水平是多少？30计量经济学导论计量经济学导论 刘愿刘愿0j1jH : =0; H :0P Tt1.t表示一个自由度为n-k-1的t分布随机变量；t表示该检验统计量的

13、数值。2.p值的解释：观察到一个t统计量至少和虚拟假设正确时的t统计量一样大的概率：（以t为临界值时的显著性水平） 小p值是拒绝虚拟假设的证据； 大p值不能提供拒绝虚拟假设的证据。31计量经济学导论计量经济学导论 刘愿刘愿40,1.85p=P T 1.85 =2P T1.85 =2 0.0359 =0.0718dft值32计量经济学导论计量经济学导论 刘愿刘愿一般情况的拒绝规则na表示检验的显著性水平； p值a，则拒绝虚拟假设；否则，在100a%的显著性水平下，就不能拒绝H0。n单侧对立假设检验p值： 1.考虑参数估计值方向与对立假设的关系； 2.将双侧对立假设的p值除以2即得到单侧对立假设的

14、p值。10j:0,H00pjjHbbb检验：。若，计算 值无关紧要。33计量经济学导论计量经济学导论 刘愿刘愿统计检验值得注意的问题n当H0未被拒绝时，应该如何表述： 我们通常说“在a%的水平上我们不能拒绝H0” 而不能说“在a%的水平上我们接受了H0。”0nox0noxH :=-1, t =0.393H :=-0.9, t =0.46234计量经济学导论计量经济学导论 刘愿刘愿n经济或实际显著性与统计显著性 统计显著性：t值 经济显著性： 1.统计显著并不意味着实际作用显著 2.实际作用显著并不意味着统计显著 3.大样本选择较小的显著性水平，反之亦然。jjtsebbjb35计量经济学导论计量

15、经济学导论 刘愿刘愿n例子4.6: 401（K）养老金计划的参与率0.00013/0.000043.251000010000 0.000131.3%totempt 如果一个企业增加个雇员，参与率下降（）36计量经济学导论计量经济学导论 刘愿刘愿n例子4.7 在职培训津贴对企业废品率的影响0.028/0.0191.47hrsempt 37计量经济学导论计量经济学导论 刘愿刘愿总结n检查统计显著性：如果该变量是统计显著的，讨论系数的大小，以对其实际或经济上的重要性有所认识。n如果一个变量在通常的显著性水平上不是统计显著的，仍需考察该变量对y是否有预期的影响及其实际的经济重要性，如果重要则计算p值。

16、n一个显著的变量却拥有非预期的符号，并且在经济上具有重要性，则问题更加麻烦。38计量经济学导论计量经济学导论 刘愿刘愿置信区间n使用经典统计检验的另一个方法是用在双侧检验中同样的临界值构建一个置信区间Another way to use classical statistical testing is 。n 一个 对未知参数(1 - ) % 的置信区间定义如下： jjc sebb c n-k-1t1- 2其中， 为自由度为的 分布中的百分位数。39计量经济学导论计量经济学导论 刘愿刘愿n置信区间的上界和下界是：jjjjjjc sec sebbbbbb置信区间的含义：如果一次又一次地获得随机样本

17、，每次计算出上界和下界，那么未知的总体参数将在95%的置信区间中出现。40计量经济学导论计量经济学导论 刘愿刘愿如何构建一个置信区间n需要三个量：n对于95%显著性水平的置信区间，一个简单的拇指法则是：n双侧对立假设的置信区间检验规则： aj 是否落入95%水平的置信区间，落入则无法拒绝落入则无法拒绝，未落入则拒绝未落入则拒绝。,jjsecbb和2jjsebb 41计量经济学导论计量经济学导论 刘愿刘愿nExample 4.8 Hedonic Price Model for Houseslog00log:0,: 0.0662.131 0.0590.192,0.06:0,: 0.6342.131

18、 0.1840.242,1.026bdrmssqrftbdrmssqrftHCIorHCIorbbbb42计量经济学导论计量经济学导论 刘愿刘愿检验关于参数的一个线性组合n假设现在不是检验 b1 等于一个常数，而是是否等于另一个参数，即H0 : b1 = b2, and H1 : b1 c55计量经济学导论计量经济学导论 刘愿刘愿例子：运动员表现及其薪水034510:0,1,0.:HHHbbb不正确。56计量经济学导论计量经济学导论 刘愿刘愿(3,347,5%)198.311 183.18639.552.60183.186 347F57计量经济学导论计量经济学导论 刘愿刘愿n因为F统计量大于临

19、界值2.6，因此，我们拒绝bavg，hrunsyr和rbisyr对薪水没有影响的假设。n为何bavg，hrunsyr和rbisyr三变量的参数估计值未通过t检验，而其F检验却是显著的？ 当自变量存在多重共线性时，模型结果难以发现每个变量的偏效应，但却可能发现联合显著性。1 22/1jjjjjtseSRSTbbb58计量经济学导论计量经济学导论 刘愿刘愿F统计量与t统计量的关系n当F统计量检验单个变量的排除性时，等于对应的t统计量的平方。n给定对立假设为双侧， t2n-k-1与F1,n-k-1 拥有同样的分布，两种方法的结果一致。59计量经济学导论计量经济学导论 刘愿刘愿F统计量的R2 型nSS

20、R很大程度上依赖于度量单位， 可以用R2计算F统计量。n依据SSR = SST(1 R2) ,F统计量的R2型为：222, 11urrurRRqFRnk rur其中， 代表受限制模型，代表不受限制模型。60计量经济学导论计量经济学导论 刘愿刘愿0.62780.5971 3479.541 0.62783F续上例，F统计量的R2型为61计量经济学导论计量经济学导论 刘愿刘愿计算F检验的p值FppP:FF,1FFfFfq nk在 检验的背景下， 值被定义为值=给定虚拟假设正确，观察到的 值至少和我们所得到的 值一样大的概率。其中， 表示一个自由度为的 堆积变量，是检验统计量的实际值。62计量经济学导

21、论计量经济学导论 刘愿刘愿0F1 f(F)拒绝无法拒绝在显著性水平上拒绝H0，如果 if F 。63计量经济学导论计量经济学导论 刘愿刘愿回归整体显著性的F统计量n排除性约束的一个特例是检验H0: b1 = b2 = bk = 0，即假设模型中没有任何一个解释变量对y有作用。n既然只有截距项的模型R2 等于零，则整体显著性的F统计量为：1122knRkRF64计量经济学导论计量经济学导论 刘愿刘愿n如果H0被拒绝，则我们得到结论认为模型中的变量的确对y有解释力，意味着回归是总体显著的。n相反，如果我们无法拒绝H0,则没有证据表明模型中的任何一个变量有助于解释y，我们必须需找其他变量来解释y。n

22、因此，我们必须计算F统计量来检验联合显著性，而非仅仅看R2的大小。65计量经济学导论计量经济学导论 刘愿刘愿检验一般的线性约束nF统计量的基本形式可适用于任何的线性约束，而非仅仅是排除性约束。n先估计受约束模型，再估计不受约束模型，然后记录两个模型的残差平方和n施加约束可以变得很有技巧，类似于重新定义变量。66计量经济学导论计量经济学导论 刘愿刘愿例子：住房评估价是否理性？01234101234loglogloglog()1,log().H1000priceasseslotsizesqrftbdrmsuassespriceasses lotsize sqrftbdrmspricebbbbbbb

23、bbb假设我们想检验：住房的评估价值是否为理性定价。如果是这样，那么变化1%，将变化1%，即；此外，一旦控制了评估价值和应该无助于解释：，67计量经济学导论计量经济学导论 刘愿刘愿01 122334401104,831.8221.8801.880 1.8220.6612.501.822* 83 4urryxxxxuSSRyxuyxuSSRFbbbbbbb不受约束模型受约束模型：，即因此，我们无法拒绝虚拟假设。68计量经济学导论计量经济学导论 刘愿刘愿F 统计量总结n与t统计量一样，F检验的p值可以通过查询F分布图的百分位数计算得到。n输入如下命令，Stata会执行F检验： display fprob(q, n k 1, F)。n当只有一个排除性约束需检验时，F = t2,p值相等。