1、15.1 多元线性模型概述多元线性模型概述 原因：影响因变量的解释变量不止一个原因：影响因变量的解释变量不止一个 例如例如：012经济增长劳动投入资本投入在在资本投入不变资本投入不变的情况下，劳动投入变动对经济增长的影响。的情况下，劳动投入变动对经济增长的影响。n在在劳动投入不变劳动投入不变的情况下，资本投入变动对经济增长的影响。的情况下，资本投入变动对经济增长的影响。21偏回归系数偏回归系数25.1 多元线性模型概述多元线性模型概述 若有解释变量若有解释变量 与与 个解释变量个解释变量 可建立如下线性多元模型：可建立如下线性多元模型：ty1k1,2,1,kixti011221,1,1,2,t
2、ttkt ktyxxxtT101 112121 1,112012122212,12011221,1kkkkTTTkT kTyxxxyxxxyxxx或者或者 可以用矩阵表示为：可以用矩阵表示为：YXTyyyY21其中，其中，111222111111111TkTjTkjkjxxxxxxxxxX01112,kTX的秩为K，即X列满秩，X的各列是线性无关的。4 回忆：由线性代数可知回忆：由线性代数可知如果一个矩阵没有逆矩阵，则被称为奇异矩阵，如果一个矩阵没有逆矩阵，则被称为奇异矩阵，如果有则为非奇异矩阵（如果有则为非奇异矩阵（non-singular）对于对于n阶方阵阶方阵A，A是非奇异矩阵的充要条件
3、是是非奇异矩阵的充要条件是A的行列式不等于的行列式不等于0当且仅当矩阵满秩时，其行列式不等于零当且仅当矩阵满秩时，其行列式不等于零()()rank X Xrank Xkkk,.X XX X为阶方阵,所以,为非奇异矩阵 可逆证明：思考：如果X列线性相关，则矩阵 就不存在。1()X X55.2 线性模型的基本假设线性模型的基本假设 假设假设1YX 假设假设2：12()()()()TEEEE0随机扰动项的数学期望为零，回归模型在期望意义上描述随机扰动项的数学期望为零，回归模型在期望意义上描述了总体回归方程。了总体回归方程。()E YX65.2 线性模型的基本假设线性模型的基本假设 假设假设3：随机扰
4、动项的方差为常数，并且两两不：随机扰动项的方差为常数，并且两两不相关。相关。111212122212()()()()()()()()()()nnnnnnEEEEEEEEEE 2220000002()E I这里的假设这里的假设2就是一元模型中的假设就是一元模型中的假设2与假设与假设3的综合，即同方差性与序列无关性的假设。的综合，即同方差性与序列无关性的假设。7 假设假设4 随机扰动项随机扰动项和解释变量和解释变量X不相关，即不相关，即中中不含解释变量不含解释变量X的任何信息。的任何信息。cov(),X0 假设假设5 X是秩为是秩为K的的T*K的矩阵。它要求的矩阵。它要求X的各列的各列线性无关，或
5、者说解释变量之间不存在多重共线线性无关，或者说解释变量之间不存在多重共线性性非完全共线。非完全共线。非完全共线是指变量X2不能表示为另一变量X3的完全线性函数。因而，若有 X2i=3+2X3i或 X2i=4X3i则这两个变量之间是共线性的，因为X2、X3之间存在完全的线性关系，如果X24X3，则将它代入会发现：E(Yi)=B1+B2(4X3i)+B3X3i =B1+(4B2+B3)X3i =B1+A X3i8 在存在完全共线性的情况下，不能估计偏回归系数B2和B3的值；不能估计解释变量X2和X3各自对因变量Y的影响。即使能够估计出来也是错误的。假设假设6 随机扰动项随机扰动项为服从正态分布的随
6、机向量为服从正态分布的随机向量，即，即 2(,)N0I在样本容量足够大时，中心极限定理，假设在样本容量足够大时，中心极限定理，假设6是近似成立的是近似成立的。因此，假设。因此，假设6可以是不必要的。可以是不必要的。以上假定在纯数学的意义是保证估计参数有唯以上假定在纯数学的意义是保证估计参数有唯一的解，同时保证了良好的统计特征。一的解，同时保证了良好的统计特征。9 与一元回归类似，我们只能得到样本，而不能得与一元回归类似，我们只能得到样本，而不能得到总体，因此，建立的样本回归方程为到总体，因此，建立的样本回归方程为YXeTyyyY21111222111111111TkTjTkjkjxxxxxxx
7、xxX01112,kTeeee5.3 普通最小二乘估计（普通最小二乘估计（OSL）10 回顾：普通最小二乘估计是使得回归的残回顾：普通最小二乘估计是使得回归的残差平方和最小。差平方和最小。5.3 普通最小二乘估计（普通最小二乘估计（OSL）1212()()TTeeQeeeeQYXYXe e即，115.3 普通最小二乘估计（普通最小二乘估计（OSL）上式中，利用了上式中，利用了 （1T）（）（TK）（）（K1）=（11）是一个标量，它的转置矩阵不变，即）是一个标量，它的转置矩阵不变，即min()()2QYXYXYYYXX YX XYYX YX XXYXYXY12 求偏导，得到求偏导，得到 则则
8、220QX YX X X YX X22QX X 是一个正定矩阵XYXX1)(是使方差最小化的解。XX是非奇异矩阵，故逆矩阵存在1()X XX Y又因为其二阶条件13知识点：正定矩阵知识点：正定矩阵 对于任意的非零向量对于任意的非零向量c，令，令ac X Xc 则则2iac X Xcv vv 除非v中的每一个元素为0，否则a为正的。但是，若v为0，则0vXc这与X中的向量线性相关，这与X的假设是矛盾的，故X满秩，则必有 为正定矩阵。X X 销售量(千克)价格(元/千克)广告支出(元/千克)55100.557090.639080.7210070.79070.6310570.7358070.5611
9、06.50.71512560.7511560.691305.50.71513050.65设苹果销量不仅与的价格(元/千克)有关，而且与相应的广告支出有关。设需求量设需求量Y关于价格关于价格X1和广告支出和广告支出X2的线性回归的线性回归模型。模型。01122 (1,2,12)iiiiYXXui65.051715.05.5169.06175.061715.05.6156.071735.07163.0717.07172.08163.09155.0101 65.0715.069.075.0715.056.0735.063.07.072.063.055.055.5665.677778910111111
10、111111XX16.7078.5505.878.555.6098405.884121301301151251108010590100907055 65.0715.069.075.0715.056.0735.063.07.072.063.055.055.5665.677778910111111111111YX12008045817.031112848.051200116.16()84609.555.78 804513.088.0555.7870.16817.03112.46 XXXY故样本回归模型为)12,2,1(46.11208.1316.11632iuXXYiiii5.4 最小二乘估计量的
11、统计特征最小二乘估计量的统计特征（2）无偏性）无偏性1111()()()()()()()EE X XX YE X XXXE X XXX XX E（1）线性性）线性性1()X XX Y估计量是关于Y的线性组合。18（3）最小方差性。先求估计量的协方差矩阵）最小方差性。先求估计量的协方差矩阵111112121()()()()()()()()()()()()varEE X XXX X XX XX EX X XX XXI X X XX X 下面证明 在所有线性无偏估计量中，具有最小的方差。采用反证法证明111()()()()X XX YX XXXX XX19 证明：证明：1,()AY AX XX令令假
12、设另一个线性无偏估计量假设另一个线性无偏估计量b=（A+C）Y()()()AC YAYCYCYAC XACb1()()()()EAC XAXCXX XX XCXICXb若若b为无偏估计量，则必有为无偏估计量，则必有0CX 2011()()()()()0,()()var()()()()()()()bAC XACAXCXACX XX XCXACCXX XX XIbACE bbEACACE ACACE b2()()()()()ACACACAC211111111 ()()()()()()()()()ACACAACAACCCX XX X X XCX X XX XX CCCX XCX X XX XX CC
13、C 0CX 1()()()ACACX XCC212var()()var()X XCCCCbCC 是半正定矩阵，这个矩阵对应的二次形式为0的前提条件是C=0，当C=0时，线性无偏估计b就是最小二乘估计225.4 最小二乘估计量的统计特征最小二乘估计量的统计特征 基于以上的证明，我们知道，最小二乘估基于以上的证明，我们知道，最小二乘估计具有计具有线性性线性性无偏性无偏性有效性：在所有线性无偏估计量中具有最小方有效性：在所有线性无偏估计量中具有最小方差性差性 所以，最小二乘估计量为最佳线性无偏估计量（BLUE）。23随机误差项方差随机误差项方差 的无偏估计量的无偏估计量 为为其中其中 为样本容量，为
14、样本容量，为待估计参数的个数。为待估计参数的个数。（样本残差有（样本残差有 个自由度）个自由度）22s2()se e TkTkkT 由上文的推导可知由上文的推导可知21()()varX X随机误差项随机误差项 一般是不知道的，因此需要用残差一般是不知道的，因此需要用残差e来估计，在多元回归中可以证明来估计，在多元回归中可以证明:5.5 统计推断（为统计推断（为t检验准备）检验准备）224命题1：11 ()()()()YXXeXXeX X XXIX X XXMee可以证明（课后练习）1）对称性：M=M2）幂等性：MM=M3）与X的正交性：MX=0Me25命题2：e eM()()e eMMM MM
15、MM复习线性代数：关于迹的概念(1)()(2)()()()(3)()()iitr Cctr ABtr Atr Btr ABtr BA注意：ee是一个数26 命题命题3()tr MTk111()()()()()()ktr Mtr IX X XXtr Itr X X XXTtrX XX XTtr ITk27222()()()()()()()()()E e eEME trME tr Mtr E Mtr M Etr MItr MTk 命题命题4：2()()E e eTk2822()se e Tk是的无偏估计量2221()()1()1()E sEe eTkE e eTkTkTk295.6 变量的显著性检
16、验（变量的显著性检验（t检验）检验）证明：证明：OLS估计量的分布估计量的分布 由于假定由于假定u服从正态分布，即服从正态分布，即 ，因此，因此2()()()()()()E YE XXvar YE YE YYE YE u uI),0(2INu2(,)YN XI 21(,()NX X 命题：305.6 变量的显著性检验（变量的显著性检验（t检验）检验）111()()()()EE X XX YX XX E YX XX X又因为贝塔估计值是关于又因为贝塔估计值是关于Y的线性函数（线性性），的线性函数（线性性），所以贝塔估计值服从正态分布，其均值和方差分别所以贝塔估计值服从正态分布，其均值和方差分别为
17、为3121(,()NX X 111()()()()X XX YX XXXX XX111112121()()()()()()()()()()()()varEE X XXX X XX XX EX X XX XXI X X XX X所以，所以，其中其中 为样本容量，为样本容量，为待估计参数的个为待估计参数的个数。（样本残差有数。（样本残差有 个自由度）个自由度）),(2iiiicN以cii表示矩阵(XX)-1 主对角线上的第i个元素，于是参数估计量的方差为：其中，2为随机误差项的总体方差，由于总体未知，故方差也不可知。因此，在实际计算时，用它的估计量代替:222()()/iSe e TkeTkTkk
18、T 注意：这里将截距项也作为一个参数。33),(2iiiicN若2 已知，可构造如下统计量 2(0,1)iiiiiiizNc但实际上2 未知，只能构造如下统计量 2()()()iiiiiiiitt TkSceTk参数估计值得样本标准差34 A、提出原假设：、提出原假设：备选假设：备选假设：B、计算：、计算：C、给出显著水平、给出显著水平 ，查自由度为，查自由度为 的的 分布表，分布表，得临界值得临界值0:0iH0:1iHiStikT t)(2kTtt检验的步骤检验的步骤35 D、作出判断。、作出判断。如果如果 ，接受原假设，接受原假设 。如果如果 ，拒绝原假设，接受备选假，拒绝原假设，接受备选
19、假设。设。P值：原假设不被拒绝的最大显著程度（接值：原假设不被拒绝的最大显著程度（接受原假设的概率），显然受原假设的概率），显然P值越小，越能够值越小，越能够拒绝原假设，越能够接受备择假设。拒绝原假设，越能够接受备择假设。)(2kTtt0:0iH)(2kTtt36参数的置信区间参数的置信区间 参数的置信区间参数的置信区间用来考察：用来考察：在一次抽样中所在一次抽样中所估计的参数值离参数的真实值有多估计的参数值离参数的真实值有多“近近”。在变量的显著性检验中已经知道：在变量的显著性检验中已经知道：2()()()iiiiiiiitt TkSceTk37容易推出容易推出：在(1-)的置信水平下i的置
20、信区间是(,)iitstsii22其中，t/2为显著性水平为、自由度为n-k的临界值。385.7 方程的拟合优度检验（方程的拟合优度检验（R2）总平方和：总平方和：回归平方和：回归平方和：残差平方和：残差平方和：2222()(2)tttTSSyyyy yyYYTy22()tESSyyYYTyRSSe e 3922()()20 ()TSSESSRSSYYXeXeX Xe eX eX eYYX Xe eYYe eYYTYYYTYe eTSSESSRSS 证明：由于即405.7 方程的拟合优度检验（方程的拟合优度检验（R2）1）可决系数可决系数 ：越接近越接近1，估计的回归函数的拟合优度越好。，估计
21、的回归函数的拟合优度越好。222 1RSSESSYYTyRTSSTSSYYTy 2R 问题：问题：在应用过程中发现，如果在模型中增加一个解释变在应用过程中发现，如果在模型中增加一个解释变量，量，R2往往增大（往往增大（Why?Why?)这就给人这就给人一个错觉一个错觉：要使得模型拟要使得模型拟合得好，只要增加解释变量即可合得好，只要增加解释变量即可。但是，现实情况往往是，。但是，现实情况往往是，由增加解释变量个数引起的由增加解释变量个数引起的R2的增大与拟合好坏无关的增大与拟合好坏无关，所以，所以，R2需调整需调整。41 在样本容量一定的情况下，增加解释变量必定使得自由度减少，所以调整的思路是
22、:将残差平方和与总离差平方和将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的分别除以各自的自由度，以剔除变量个数对拟合优度的影响影响，定义调整的可决系数为定义调整的可决系数为22()1(1)1111(1)RSS TkRTSS TTRSSTkTSSTRTk 42*3）、赤池信息准则和施瓦茨准则为了比较所含解释变量个数不同的多元回归模为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有型的拟合优度，常用的标准还有:赤池信息准则（Akaike information criterion,AIC）nknAIC)1(2lnee施瓦茨准则施瓦茨准则（Schwarz
23、 criterion，SC）nnknAClnlnee这两准则均要求这两准则均要求仅当所增加的解释变量能够减少仅当所增加的解释变量能够减少AICAIC值或值或ACAC值时才在原模型中增加该解释变量值时才在原模型中增加该解释变量。43 方程的显著性检验：被解释变量与解释变方程的显著性检验：被解释变量与解释变量之间的线性关系在总体上是否显著成立量之间的线性关系在总体上是否显著成立作出推断。作出推断。思想：思想：检验是否所有的参数中至少有一个检验是否所有的参数中至少有一个参数显著异于参数显著异于0。t检验只是检验某个参数的显著性，检验只是检验某个参数的显著性，F检验检验是检验整个方程中的显著性。是检验
24、整个方程中的显著性。5.8 方程的显著性检验方程的显著性检验(F检验检验)44 步骤1:提出如下原假设与备择假设 H0：0=1=2=k=0 H1：j不全为0 F F检验的思想检验的思想来自于总离差平方和的分解式：TSS=ESS+RSS由于回归平方和2iyESS是解释变量X的联合体对被解释变量Y的线性作用的结果，考虑比值 22/iieyRSSESS45 如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。因此因此,可通过该比值的可通过该比值的大小对总体线性关系进行推断大小对总体线性关系进行推断。步骤2：构造统计量F，根据数理统计学中的知识，在原假
25、设H0成立的条件下，统计量(1)()ESSkFRSS Tk46服从分母自由度为k-1,分子自由度为 n-k的F分布。MSE和和MSR分别为回归均方与误差均方分别为回归均方与误差均方显然显然F值越大，越能拒绝原假设，且方程值越大，越能拒绝原假设，且方程的解释能力越好！的解释能力越好！),1()()1(kTkFMSRMSEkTSSRkSSEF C、设定检验水平、设定检验水平 ，则检验规则为：，则检验规则为：若若 ，接受，接受 若若 ，拒绝，拒绝),1(kTkFF),1(kTkFF0H0H47讨论：拟合优度检验与方程显著性检验关系的讨论：拟合优度检验与方程显著性检验关系的由可推出：与或(1)()ES
26、SkFRSS Tk2()1(1)RSS TkRTSS T 211TRTkkF 22(1)()RkFRTk4849讨论：讨论：F检验与检验与t检验检验 F检验与检验与t检验的区别与联系检验的区别与联系F检验和检验和t检验的对象不同检验的对象不同当对全部参数的当对全部参数的t检验均显著时，检验均显著时，F检验一定是检验一定是显著的。显著的。当当F检验显著时，并不意味着检验显著时，并不意味着t检验一定是显著检验一定是显著的，可能的对某个参数的的，可能的对某个参数的t检验显著，但对其检验显著，但对其他参数的他参数的t检验不显著；当然也有可能对所有检验不显著；当然也有可能对所有参数均显著。参数均显著。5
27、0例：柯布道格拉斯生产函数例：柯布道格拉斯生产函数 例例1：19581972年台湾地区农业部门的柯布年台湾地区农业部门的柯布道格拉斯生产函数。道格拉斯生产函数。柯布柯布-道格拉斯生产函数形式为道格拉斯生产函数形式为 ，估算，估算时需做变换，变换为对数线性模型进行估算。取时需做变换，变换为对数线性模型进行估算。取对数，有对数，有 LAkQ LkAQlnlnlnln51529.69.810.010.210.45.555.605.655.705.75LOG(LABOUR)LOG(Y)9.69.810.010.210.49.69.810.010.210.410.610.8LOG(CAPITAL)LOG
28、(Y)53545.9 多元模型的参数取舍多元模型的参数取舍 思想：利用思想：利用 检验来检验模型中的参数是检验来检验模型中的参数是否满足某种约束条件，如是否可以去掉某否满足某种约束条件，如是否可以去掉某些参数从而简化模型，从而选择一个最优些参数从而简化模型，从而选择一个最优的模型。的模型。F555.9 多元模型的参数取舍多元模型的参数取舍(1)把所有可能影响被解释变量的变量全部纳入模把所有可能影响被解释变量的变量全部纳入模型回归，可以得到一个没有约束的回归残型回归，可以得到一个没有约束的回归残差差 。(2)把若干（一个或多个）解释变量去掉，重新回把若干（一个或多个）解释变量去掉，重新回归，得到
29、一个有约束的回归残差归，得到一个有约束的回归残差 。（去掉。（去掉几个变量，就意味着增加了几个约束条件几个变量，就意味着增加了几个约束条件 ）RSS无约束RSS约束0i56构造构造 统计量：统计量：。其中。其中 为约束条件的个数，为约束条件的个数，为样本容量，为样本容量，为为无约束模型的待估计参数的个数。无约束模型的待估计参数的个数。F()()RSSRSSmFRSSTk约束无约束无约束mTk(,)()()m T kRSSRSSmFFRSSTk约束无约束无约束5.9 多元模型的参数取舍多元模型的参数取舍57 F检验量计算式上下同时除以检验量计算式上下同时除以SST，也可以，也可以变化为由可决系数
30、表示的形式变化为由可决系数表示的形式:222222()()(1)(1)()(1)()(1)()RSSRSSmTSSTSSFRSSTkTSSRRmRRmRTkRTk约束无约束无约束约束无约束无约束约束无约束无约束5.9 多元模型的参数取舍多元模型的参数取舍58(4)选择显著性水平选择显著性水平 ，检验规则为：，检验规则为：若若 ，接受约束条件，即模型的，接受约束条件，即模型的简化是可行的。简化是可行的。若若 ，拒绝接受约束条件，即模，拒绝接受约束条件，即模型的简化是不可行的。型的简化是不可行的。注意：约束条件是某些参数注意：约束条件是某些参数“设置为零设置为零”，原假设为约束条件成立。原假设为约
31、束条件成立。),(kTmFF),(kTmFF5.9 多元模型的参数取舍多元模型的参数取舍（1）回归无约束的模型的结果在上文）回归无约束的模型的结果在上文已经给出已经给出60 无约束模型的回归结果表示为无约束模型的回归结果表示为:LOG(Y)=-3.338 4+1.4988*LOG(LABOUR)+0.4899*LOG(CAPITAL)(-1.363)(2.777)(4.800)220.889,0.871,48.069RRF回归结果含义：台湾地区回归结果含义：台湾地区19581972年农业部门的劳动与资本的产年农业部门的劳动与资本的产出弹性分别是出弹性分别是1.4988与与0.4899,在样本期
32、内，劳动投入每增加在样本期内，劳动投入每增加1个百个百分点，导致产出增加近分点，导致产出增加近1.5个百分点，资本的投入每增加个百分点，资本的投入每增加1个百分点，个百分点，导致产出增加导致产出增加0.5个百分点。两个产出弹性相加得个百分点。两个产出弹性相加得1.988，说明台湾地，说明台湾地区区19581972年农业部门存在规模报酬递增。年农业部门存在规模报酬递增。估计回归拟合程度良好，从可决系数来看，产出变化近估计回归拟合程度良好，从可决系数来看，产出变化近90的原因的原因可以由资本与劳动的投入来解释。可以由资本与劳动的投入来解释。61有约束的模型有约束的模型（2）台湾地区）台湾地区195
33、81972年农业部门的生产规年农业部门的生产规模报酬是否显著异于模报酬是否显著异于1。回归有约束的回归，约束条件为：回归有约束的回归，约束条件为：Estimation Equation:LOG(Y)=C(1)+C(2)*LOG(LABOUR)+(1-C(2)*LOG(CAPITAL)162有约束模型的回归结果有约束模型的回归结果63比较两个模型比较两个模型 构建构建F检验量：检验量：查查F分布表（自由度分别为分布表（自由度分别为1与与12的的F分布分布表）。表）。3587.4)315()889.01(1)849.0889.0()()1()(222kTRmRRF无约束约束无约束0.05(1,12
34、)0.1(1,12)4.75,3.18FF64分析分析 当显著性水平选择当显著性水平选择5时，由于时，由于4.35874.75，说明在，说明在5的显著性水平上，的显著性水平上，接受原假设：接受原假设：台湾地区台湾地区19581972年农业部门的规模报酬年农业部门的规模报酬不变。也就是说，在不变。也就是说，在5的显著性水平上，的显著性水平上，无无约束模型估计出来的规模报酬值约束模型估计出来的规模报酬值1.9887在统计在统计上并不显著地异于上并不显著地异于1。或者，接受原假设可能导致错误的概率只有或者，接受原假设可能导致错误的概率只有5%。65练习练习思考：如果X列线性相关，则矩阵 就不存在。1()X X
