1、第三章第三章 多元线性回归模型多元线性回归模型* 多元线性回归模型是我们课程的重点多元线性回归模型是我们课程的重点，原因，原因在于：在于： 多元线性回归模型应用非常普遍；多元线性回归模型应用非常普遍； 原理和方法是理解更复杂计量经济学模型的原理和方法是理解更复杂计量经济学模型的基础；基础； 内容较为丰富。内容较为丰富。 从而，我们应不遗余力地学，甚至是不遗余从而，我们应不遗余力地学，甚至是不遗余力地背！力地背！本章主要内容本章主要内容 多元线性回归模型的描述多元线性回归模型的描述 参数参数 的的OLSOLS估计估计 OLSOLS估计量的有限样本性质估计量的有限样本性质 参数估计量的方差参数估计
2、量的方差- -协方差矩阵和随机误协方差矩阵和随机误差项方差差项方差 2 2的估计的估计 单方程模型的统计检验单方程模型的统计检验 多元线性回归模型实例多元线性回归模型实例3.1 3.1 多元线性回归模型的描述多元线性回归模型的描述1 1、多元线性回归模型的形式、多元线性回归模型的形式 由于在实际经济问题中，一个变量往往受到多个原因由于在实际经济问题中，一个变量往往受到多个原因变量的影响；变量的影响； “从一般到简单从一般到简单”的建模思路。的建模思路。 所以，在线性回归模型中的解释变量有多个，至少开所以，在线性回归模型中的解释变量有多个，至少开始是这样。这样的模型被称为始是这样。这样的模型被称
3、为多元线性回归模型多元线性回归模型。 多元线性回归模型参数估计的原理与一元线性回归模多元线性回归模型参数估计的原理与一元线性回归模型相同，只是计算更为复杂。型相同，只是计算更为复杂。 以多元线性回归模型的一般形式以多元线性回归模型的一般形式K元线性回归元线性回归模型入手进行讲解，其模型结构如下：模型入手进行讲解，其模型结构如下：Y= x1 1 + x2 2 + xk k + (1) 其中，其中，Y是被解释变量（因变量、相依变量、内是被解释变量（因变量、相依变量、内生变量），生变量），x是解释变量（自变量、独立变量、外生是解释变量（自变量、独立变量、外生变量），变量）， 是随机误差项，是随机误差
4、项， i, i = 1, , k 是回归参是回归参数数。 线性回归模型的意义在于把线性回归模型的意义在于把Y分成两部分：确定分成两部分：确定性部分和非确定性部分。性部分和非确定性部分。 在研究中，我们根本无法了解式（在研究中，我们根本无法了解式（1）所示的总体）所示的总体模型的特征，而只能通过样本特征来近似考察。模型的特征，而只能通过样本特征来近似考察。 设经过设经过n次试验，得到次试验，得到n个样本，如下所示：个样本，如下所示： y1 x11 x12 x1 k y2 x21 x22 x2 k yn x n1 x n2 x nk 从而得到表达式如下：从而得到表达式如下：Yi= xi1 1 +
5、xi2 2 + xik k + i (2) 其中，式（其中，式（1）称为总体线性模型；式（）称为总体线性模型；式（2）称为）称为样本线性模型。样本线性模型。 在计量经济学分析中，通常会借助矩阵工具，在此亦将在计量经济学分析中，通常会借助矩阵工具，在此亦将多元线性模型表示成矩阵形式，以便于下一步的数学运算。多元线性模型表示成矩阵形式，以便于下一步的数学运算。) 1n(n21) 1(21)n(nn1n22211111) 1n(n21kkkkjkjkjxxxxxxxxxyyy（3） 写成一般形式为：写成一般形式为： Y = X + (4) 针对式（针对式（4），在这里主要讲参数估计和统计推断，但在）
6、，在这里主要讲参数估计和统计推断，但在此之前，我们要先回顾一下什么模型才是多元线性回归模型，此之前，我们要先回顾一下什么模型才是多元线性回归模型，即了解线性回归模型的即了解线性回归模型的6大假设，这一点十分重要。大假设，这一点十分重要。（1）线性性线性性。即要求模型关于参数是线性的，关于扰动项是可加的。 （2） 满秩。满秩。说明解释变量之间是线性无关的，这一假设很重要，在后面会经常受到。（3）回归性。回归性。x与不相关。（4）x的的DGP是外生的。是外生的。x相对于y是外生的，是非随机的。（5）球形扰动。球形扰动。同方差性和非自相关性。（6）正态假设。正态假设。 2 2、多元回归方程及偏回归系
7、数的含义、多元回归方程及偏回归系数的含义称为多元回归方程（函数）多元回归方程（函数）。 多元回归分析（多元回归分析（multiple regression analysis）中，中，诸诸 i称为称为偏回归系数偏回归系数（partial regression coefficients）。）。 在经典回归模型的诸假设下，对（在经典回归模型的诸假设下，对（1）式两边求）式两边求条件期望得条件期望得 E（Y|X1,X2,Xk)= x1 1 + x2 2 + xk k 偏回归系数偏回归系数的含义如下： 1度量着在度量着在X2,X3,Xk保持不变的情况下，保持不变的情况下，X1每变化每变化1个单位时，个单
8、位时，Y的均值的均值E(Y)的变化，或者说的变化，或者说 1给出给出X1的单位变化对的单位变化对Y均值的均值的“直接直接”或或“净净”（不含其他变量）影响。（不含其他变量）影响。 其他参数的含义与之相同。其他参数的含义与之相同。例：例： 其中，其中，Ct=消费，消费，Dt=居民可支配收入居民可支配收入 Lt=居民拥有的流动资产水平居民拥有的流动资产水平 2的含义是，在流动资产不变的情况下，可支配收入变动一个的含义是，在流动资产不变的情况下，可支配收入变动一个单位对消费额的影响。这是收入对消费额的直接影响。单位对消费额的影响。这是收入对消费额的直接影响。收入变动对消费额的收入变动对消费额的总影响
9、总影响=直接影响直接影响+间接影响。间接影响。 （间接影响：收入（间接影响：收入流动资产拥有量流动资产拥有量消费额）消费额）但在模型中这种间接影响应归因于流动资产，而不是收入，因但在模型中这种间接影响应归因于流动资产，而不是收入，因而，而，2只包括收入的直接影响。只包括收入的直接影响。在下面的模型中：在下面的模型中： 这里，这里，是可支配收入对消费额的总影响，显然是可支配收入对消费额的总影响，显然和和2的含义的含义是不同的。是不同的。偏回归系数偏回归系数b bj j就是就是x xj j本身变化对本身变化对y y的直接（净）影响。的直接（净）影响。 ttttuLDC321ntuDCttt,.,2
10、 , 1, 需要说明的是，如果令需要说明的是，如果令x x1 111，则，则 1 1便是常数项便是常数项。习惯上把常数项看成为一个虚变量的系数，在参数估习惯上把常数项看成为一个虚变量的系数，在参数估计过程中该虚变量的样本观测值始终取计过程中该虚变量的样本观测值始终取1 1。 通常，一定要假设在模型中有常数项，即尽量让通常，一定要假设在模型中有常数项，即尽量让模型包含常数项，以中心化误差。模型包含常数项，以中心化误差。3.23.2 参数参数 的的OLSOLS估计估计参数参数 的的OLSOLS估计估计 附录：极大似然估计和矩估计附录：极大似然估计和矩估计投影和投影矩阵投影和投影矩阵分块回归和偏回归
11、分块回归和偏回归偏相关系数偏相关系数我们的模型是：我们的模型是： iKKi1iiiiX.XYYYe1残差为：残差为：一、参数一、参数 的的OLSOLS估计估计 普通最小二乘估计原理：使样本残差平方和最小普通最小二乘估计原理：使样本残差平方和最小Y= x11 + x22 + xk k + 关键问题是选择关键问题是选择 的估计量的估计量b（或（或 ），使得残差平方和最），使得残差平方和最小。小。要使残差平方和要使残差平方和22iKKi11iiX.XYeQ0., 01KQQ于是得到关于待估参数估计值的于是得到关于待估参数估计值的K个方程（即正规方程组）：个方程（即正规方程组）：为为最小最小，则应有：
12、，则应有：按矩阵形式，上述方程组可表示为：按矩阵形式，上述方程组可表示为：iik2iKKi1ik1ii2iKi2Ki1i21ii1iKi1K2i11YXX.XX.YXXX.XXYXXX.X)(XXXY即YXXX)(YYeeene.21 上述结果，亦可从矩阵表示的模型上述结果，亦可从矩阵表示的模型 出发，完全用矩阵代数推导出来。出发，完全用矩阵代数推导出来。 uXYXY其中：其中：残差可用矩阵表示为：残差可用矩阵表示为：残差平方和残差平方和 )()(YYYY)()(XYXY)(XYXYXXXYYXYYnnieeeeeeeeeQ.21212注意到上式中所有项都是注意到上式中所有项都是标量标量，且，
13、且 )(XYYX2XXYXYYQ0)(eeYXXXYXXX1)(与采用标量式推导所得结果相同。与采用标量式推导所得结果相同。因为因为x是满秩的（假设是满秩的（假设2），所以（，所以（X X）-1存在。所以，得到存在。所以，得到 的估计为的估计为用向量展开或矩阵微分法（用向量展开或矩阵微分法（前导不变后导转置前导不变后导转置），我们可得到关），我们可得到关于待估参数估计值的正规方程组：于待估参数估计值的正规方程组：令令故故 注：这只是得到了求极值的必要条件。到目注：这只是得到了求极值的必要条件。到目前为止，仍不能确定这一极值是极大还是极前为止，仍不能确定这一极值是极大还是极小。接下来考察求极值充
14、分条件。小。接下来考察求极值充分条件。 注意到上述条件只是极小化问题的必要条件，为了注意到上述条件只是极小化问题的必要条件，为了判断充分性，我们需要求出目标函数的判断充分性，我们需要求出目标函数的Hessian矩阵矩阵 ： 如果这个如果这个Hessian矩阵是正定的，则可以判断所得矩阵是正定的，则可以判断所得到的解是唯一的最小二乘解。到的解是唯一的最小二乘解。 显然，根据正定矩阵的定义或者正定矩阵的判断准显然，根据正定矩阵的定义或者正定矩阵的判断准则，可知当矩阵的满秩条件满足时，矩阵是正定的，因则，可知当矩阵的满秩条件满足时，矩阵是正定的，因此最小二乘解的充分性成立。从而，此最小二乘解的充分性
15、成立。从而，OLS估计量为：估计量为：YXXX1)( 样本回归线的数值性质样本回归线的数值性质 需要注意的是，上述命题成立的前提是线性模型中包含常数需要注意的是，上述命题成立的前提是线性模型中包含常数项，也就是第一个解释变量是项，也就是第一个解释变量是“哑变量哑变量”形式。这样一个思考题形式。这样一个思考题目就是，当线性模型中不包含常数项时，结论是什么样的？目就是，当线性模型中不包含常数项时，结论是什么样的？（3）的证明方法1 因为ei=0，所以对 两边求和即可。eyy附录：极大似然估计附录：极大似然估计对于一元线性回归模型： iiiXY10 i=1,2,n随机抽取 n 组样本观测值iiXY
16、,（i=1,2,n） ，假如模型的参数估计量已经求得到， 为0和1， 那么iY服从如下的正态分布： iY),(210iXN于是，iY的概率函数为 2102)(2121)(iiXYieYP i=1,2,n 回忆一元线性回归模型回忆一元线性回归模型 将该或然函数极大化，即可求得到模型参数的极大或然估计量。因为iY是相互独立的，所以Y的所有样本观测值的联合概率，也即或然函数或然函数(likelihood function)为： ),(),(21210nYYYPL 21022)(21)2(1iinXYne 由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下： 2102*)(
17、21)2ln()ln(iiXYnLL对L*求极大值，等价于对210)(iiXY 求极小值: 0)(0)(21012100iiiiXYXY 同理，分析多元线性回归模型同理，分析多元线性回归模型 Y Y的随机抽取的的随机抽取的n组样本观测值的联合概率组样本观测值的联合概率 )()(21)(212122222211022)2(1)2(1),(),(XYXYeeyyyPLnxxxynnnkikiiin 对数似然函数为对数似然函数为 参数的极大似然估计参数的极大似然估计 结果与参数的普通最小二乘估计相同结果与参数的普通最小二乘估计相同 LLn LnLn*( )()() () 2122YXYX() X X
18、X Y1附录：矩估计附录：矩估计(Moment Method,MM)(Moment Method,MM) 矩估计是基于实际参数满足一些矩估计是基于实际参数满足一些矩条件矩条件而形成的一种参数估而形成的一种参数估计方法。计方法。 随机变量的均值和方差如何得到？随机变量的均值和方差如何得到？ 例：例：总体：总体：E（Y-）=0 样本矩（用样本矩估计总体矩）：样本矩（用样本矩估计总体矩）： 满足相应的矩条满足相应的矩条件：件：T1tt0)(YT1 同理，方差的估计量是样本的二阶中心矩。同理，方差的估计量是样本的二阶中心矩。 现在，考虑一元线性回归模型中的假设条件：现在，考虑一元线性回归模型中的假设条
19、件：0)E(x0)(Ettt 其所对应的样本矩条件分别为：其所对应的样本矩条件分别为：T1tT1tt10tt0)xb-b-(yT1T1T1tT1tt10tttt0)xbby(xT1xT1 可见，与可见，与OLS估计量的正规方程组是相同的。估计量的正规方程组是相同的。 多元线性回归模型矩估计的矩条件通常是这样构造多元线性回归模型矩估计的矩条件通常是这样构造的：的： 对于多元线性回归模型对于多元线性回归模型 Y=X+ 两边分别左乘两边分别左乘 ，即得到，即得到XXXXYX)XXE(Y)XE(上式称为总体回归方程的一组矩条件。现在，我们随上式称为总体回归方程的一组矩条件。现在，我们随机抽取样本，用样
20、本矩代替总体矩，得到：机抽取样本，用样本矩代替总体矩，得到：XXn1YXn1 解此正规方程组即得参数的估计量，这种估计方法称为矩解此正规方程组即得参数的估计量，这种估计方法称为矩估计。其参数估计结果与估计。其参数估计结果与OLSOLS一致。一致。 样本形式：用每个解释变量分别乘以模型的两边，并对所样本形式：用每个解释变量分别乘以模型的两边，并对所有样本点求和，即得到：有样本点求和，即得到： kiikikiikiiiikikiiiiikikiiixxxxxyxxxxxy)xxx(y)()(22112221122211YX)XX( 对每个方程的两边求期望，有：对每个方程的两边求期望，有： )()(
21、)()()()(22112221122211kiikikiikiiiikikiiiiikikiiixxxxExyExxxxExyE)xxxEyE 得到一组矩条件得到一组矩条件 求解这组矩条件，即得到参数估计量求解这组矩条件，即得到参数估计量 与与OLS、ML估计量等价估计量等价kikikiikiiikikiiiikikiiixxxxxyxxxxxy)xxx(y)()(22112221122211 矩方法是工具变量方法矩方法是工具变量方法(Instrumental Variables,IV)和广义矩估计方法和广义矩估计方法(Generalized Moment Method, GMM)的基础的基
22、础 在矩方法中关键是利用了在矩方法中关键是利用了 如果某个解释变量与随机项相关，只要能找到如果某个解释变量与随机项相关，只要能找到1个个工具变量，仍然可以构成一组矩条件。这就是工具变量，仍然可以构成一组矩条件。这就是IV。 如果存在如果存在k+1个变量与随机项不相关，可以构成个变量与随机项不相关，可以构成一组方程数一组方程数k+1的矩条件。这就是的矩条件。这就是GMM。kjxEjii, 2 , 1, 0)( 广义矩估计中，矩条件的个数大于参数个数，广义矩估计中，矩条件的个数大于参数个数，会出现什么问题呢？会出现什么问题呢？ 过度识别过度识别 则必须想办法调和出现在过度识别系统中相则必须想办法调
23、和出现在过度识别系统中相互冲突的估计。那如何解决呢？互冲突的估计。那如何解决呢？ 广义矩估计的思想是使得样本矩与总体广义矩估计的思想是使得样本矩与总体矩的加权距离（即马氏距离）最小。主要是矩的加权距离（即马氏距离）最小。主要是考虑到不同的矩所起的作用可能不同。考虑到不同的矩所起的作用可能不同。 注意：注意：GMM估计是一个大样本估计。在大样估计是一个大样本估计。在大样本的情况下，本的情况下，GMM估计量是渐进有效的，在估计量是渐进有效的，在小样本情况下是无效的。所以，只有在大样小样本情况下是无效的。所以，只有在大样本情况下，才能使用本情况下，才能使用GMM方法进行参数估计。方法进行参数估计。二
24、、投影和投影矩阵二、投影和投影矩阵 OLSOLS估计的几何性质估计的几何性质获得最小二乘估计以后，可以获得下述最小二乘残差获得最小二乘估计以后，可以获得下述最小二乘残差： Xbye将最小二乘估计的表达式代入，得到：将最小二乘估计的表达式代入，得到： yMyXXXXIyXXXXye)()(11其中定义的矩阵其中定义的矩阵 在回归分析中是非在回归分析中是非常基础和重要的。显然，这个矩阵是对称幂等矩阵：常基础和重要的。显然，这个矩阵是对称幂等矩阵： XXXXIM1)(MM2MM 其次，还有一些重要的性质需要注意，例如对称其次，还有一些重要的性质需要注意，例如对称幂等矩阵的特征根非幂等矩阵的特征根非0
25、即即1(对称矩阵的特征根均为实对称矩阵的特征根均为实数数)，因此矩阵具有性质：矩阵的迹等于矩阵的秩。，因此矩阵具有性质：矩阵的迹等于矩阵的秩。 显然，矩阵显然，矩阵M的作用是，它乘积作用在某个向量的作用是，它乘积作用在某个向量y上，上，就可以得到这个向量就可以得到这个向量y基于数据变量的最小二乘回基于数据变量的最小二乘回归的残差向量，因此经常将这个矩阵称为归的残差向量，因此经常将这个矩阵称为“残差生残差生成矩阵成矩阵”(residual maker)。这里需要注意。这里需要注意M的定的定义和所作用的变量，是所作用变量关于义和所作用的变量，是所作用变量关于M定义中数定义中数据矩阵的回归残差。即据
26、矩阵的回归残差。即yeY MzeZ MweW M 显然，显然，X基于自己的线性回归的最小二乘残差一定基于自己的线性回归的最小二乘残差一定为零，则必然有为零，则必然有(即使验证也十分显然即使验证也十分显然)：0XM 根据此性质，我们来考察最小二乘估计的性质。根据此性质，我们来考察最小二乘估计的性质。已知：已知：eyeXby 这说明最小二乘回归将变量这说明最小二乘回归将变量y分解成为两个部分，分解成为两个部分，一个部分是拟合值一个部分是拟合值 ，另一个部分是残差，另一个部分是残差e，由于由于 bXy 0)(bXMYbXMYbXeye 这说明最小二乘回归与残差是正交的。因此，这样这说明最小二乘回归与
27、残差是正交的。因此，这样的分解是正交分解，也就是说最小二乘的拟合值向的分解是正交分解，也就是说最小二乘的拟合值向量和残差向量是正交的量和残差向量是正交的(意味着这两个向量之间的夹意味着这两个向量之间的夹角为垂角角为垂角)。这时也可以得到：。这时也可以得到：yPyXXXXyMIeyy1)()( 这里矩阵这里矩阵 也是一个对称幂等矩阵，我也是一个对称幂等矩阵，我们称其为们称其为投影矩阵投影矩阵(project matrix)，它是由矩阵，它是由矩阵X构成的，并且它如果乘积作用到向量构成的，并且它如果乘积作用到向量y上，则可以上，则可以得到得到y基于变量基于变量X的最小二乘回归的拟合值的最小二乘回归
28、的拟合值。这也是。这也是向量向量y在矩阵在矩阵X的各列生成的线性空间上的投影。的各列生成的线性空间上的投影。XXXXP1)( 注释：假设注释：假设y在矩阵在矩阵X的各列生成的线性空间上的投的各列生成的线性空间上的投影是影是yp ，则，则yp的定义是：的定义是：bXyPbmin|yyP且选择且选择 使得使得 由于上述向量之间的模与最小二乘距离是一致的，由于上述向量之间的模与最小二乘距离是一致的，因此投影值便是最小二乘估计的拟合值，即因此投影值便是最小二乘估计的拟合值，即又被称为帽子矩阵。所以，因为P, y XbyPpyy XbbXyP 为了更好地理解上述定义和公式，我们将一些有用为了更好地理解上
29、述定义和公式，我们将一些有用的结论归纳为下述命题：的结论归纳为下述命题： 命题命题1 在线性模型的最小二乘估计中，可以得到：在线性模型的最小二乘估计中，可以得到： （1）P+M=I（显然）（显然） （2）PM=MP=0，即矩阵，即矩阵P与与M是正交的。是正交的。 证明：因为证明：因为P=I-M，所以，所以PM=（I-M）M=M-M2=0 （3）矩阵）矩阵P具有自投影不变性，即具有自投影不变性，即PX=X。 （4）向量）向量y可以通过投影进行正交分解，即分解为可以通过投影进行正交分解，即分解为投影和残差：投影和残差：y=Py+My。 证明：证明：y=Iy=（P+M）y=Py+My，投影和残差是正
30、交的，投影和残差是正交的 （5）平方和分解公式成立：）平方和分解公式成立： 证明：因为证明：因为 所以所以 （6）残差平方和可以表示为：）残差平方和可以表示为： 证明：因为证明：因为e=My，且，且M是对阵幂等矩阵，所以是对阵幂等矩阵，所以 eeyyyyIMMPPMPMP22IMMPPMPMP22eeyyyMMyyPyPyMMyyPPyyMMPPyyy)()()()()()()(yeeyeeyeeyyMyyMMyee（7）残差平方和也可以表示为：）残差平方和也可以表示为： 证明：根据（证明：根据（5）式，可得）式，可得 而且可推知，而且可推知， 又因为又因为e=y-Xb，则有，则有 bXyyy
31、yXbyybXXbyyeebXyyXbbXXbyybXybXyee)()(bXXbyyeebXyyXbbXXbbXyyyyXbyybXXbyy三、分块回归与偏回归三、分块回归与偏回归（partitioned regression and partial regression ） 通常在进行线性回归时我们假定了完全的回归变量，通常在进行线性回归时我们假定了完全的回归变量，但事实上我们只对其中的部分变量感兴趣。这时我但事实上我们只对其中的部分变量感兴趣。这时我们就需要考虑将一部分变量从回归变量中删除所导们就需要考虑将一部分变量从回归变量中删除所导致的结果。致的结果。 假设回归方程中涉及到两部分变量
32、假设回归方程中涉及到两部分变量X1和和X2，这时有：，这时有： 由于由于X=（X1，X2），）， k1 k2XXXy2211维维2121kk 请问：根据模型请问：根据模型 得到的得到的b1，是否与根据模型，是否与根据模型 得到的得到的b1相等？相等？XXXy2211思考思考11Xy则有：221221112121)X,X( )X,X(XXXXXXXXXXyXyX2121Y)X,X(YX 从而，正规方程组从而，正规方程组X Y = X Xb变成：变成： 从而得到从而得到yXyXbbXXXXXXXX21212212211111211121222)(AAAAFyXyXXXXXXXXX211221221
33、111 -21YXX)X(bbb 上述四块矩阵可以通过下述分块逆矩阵公式得到：上述四块矩阵可以通过下述分块逆矩阵公式得到： 利用该公式可得到利用该公式可得到：211121221211111121212111122211211)(FAAFFAAAAFAIAAAAA11211121222)(AAAAF)()()()(22111122111111111bXyXXXbXXXXyXXXb以上结果也可以直接计算得到：以上结果也可以直接计算得到：由正规方程组由正规方程组yXyXbbXXXXXXXX212122122111YXb)XX(b)X(XYXb)XX(b)X(X22221121221111得到：得到：
34、)()()()(22111122111111111bXyXXXbXXXXyXXXb根据第一个方程得到根据第一个方程得到 上述解的公式表明，系数上述解的公式表明，系数 的最小二乘估计的最小二乘估计 是是y基基于于X1的回归系数，减去一个修正向量的回归系数，减去一个修正向量 。 上述获得参数估计上述获得参数估计 的过程具有典型的统计意义，的过程具有典型的统计意义，首先，首先， 是被解释变量中剔除变量是被解释变量中剔除变量X2的剩余的剩余部分；其次，将剩余部分基于部分；其次，将剩余部分基于X1再进行回归，因此，再进行回归，因此，参数估计参数估计 是剔除变量是剔除变量X2所剩余的部分。所剩余的部分。
35、一种特殊情形是一种特殊情形是 ，这时，这时， 正好是正好是y基于基于X1的回归系数。更为一般的结果可以由的回归系数。更为一般的结果可以由下述定理给出：下述定理给出：11b221111)(bXXXX1b)(22bXy 1b021 XXyXXXb11111)( 定理定理1： 正交分块回归正交分块回归 在变量y基于两部分变量X1和X2进行多元线性回归时，如果这两个变量之间是正交的，则X1和X2的回归系数可以通过单独进行y基于X1的回归系数和基于X2的回归系数得到。 上述结论对于回归分析来说是一个基础结论，上述结论对于回归分析来说是一个基础结论，非常重要。可以进一步归纳成为下述定理：非常重要。可以进一
36、步归纳成为下述定理： 定理（定理（Frisch-Waugh Theorem）：）： 在向量在向量Y基于两部分变量基于两部分变量X1和和X2的最小二乘回归中，的最小二乘回归中，系数最小二乘估计的部分估计可以通过系数最小二乘估计的部分估计可以通过Y基基于变量于变量X1的残差，再基于的残差，再基于X2的每列基于变量的每列基于变量X1回归的残差，进行回归的回归系数得到。回归的残差，进行回归的回归系数得到。y 这个过程一般被称为变量这个过程一般被称为变量X1作用的作用的“挤出挤出”或者或者“分离分离”过程。出于这个原因，多元回过程。出于这个原因，多元回归系数经常被称为归系数经常被称为偏回归系数偏回归系数
37、(partial regression coefficients)。 对于这个情形的一种特例，我们考虑向量对于这个情形的一种特例，我们考虑向量Y基于一组变量基于一组变量X和一个附加变量和一个附加变量Z的最小二乘的最小二乘回归问题。这时最小二乘系数表示为回归问题。这时最小二乘系数表示为b和和c。这种情形下的结果可以由下述推论得到：这种情形下的结果可以由下述推论得到： 例子：例子：这个命题的一个直接应用是，可以考虑采这个命题的一个直接应用是，可以考虑采用时间趋势脱离后的残差向量进行替代，以求出包用时间趋势脱离后的残差向量进行替代，以求出包含时间变量的多元回归系数。这与将时间含时间变量的多元回归系数
38、。这与将时间T作为解释作为解释变量放入模型中的效果是等同的。变量放入模型中的效果是等同的。 例子：在下列模型中例子：在下列模型中Earnings =a+b*education+c*age+d*age2 +第二个系数第二个系数b如何得到？如何得到？ 对数据做中心化处理是否会改变参数估计结果？对数据做中心化处理是否会改变参数估计结果？ 作为这些结论的一个应用，我们考虑矩阵作为这些结论的一个应用，我们考虑矩阵X的第一列全为的第一列全为1的包含常数项的情形。的包含常数项的情形。 通常将通常将 称为称为中心化矩阵。中心化矩阵。 从矩阵结构可以看出，其与变量从矩阵结构可以看出，其与变量X无关，只是一个无关
39、，只是一个数据转换工具，其中的矩阵数据转换工具，其中的矩阵Jn被称为被称为列求和矩阵列求和矩阵。例子：例子： 中心化矩阵是对称幂等矩阵吗？中心化矩阵是对称幂等矩阵吗？其是否满秩？其是否满秩？ nn0Jn1IMyy.yyyyyyYMn3210四、偏回归与偏相关系数四、偏回归与偏相关系数（partial regression and partial correlation coefficients ） 多元回归的用途之一，是提供了一个概念性框多元回归的用途之一，是提供了一个概念性框架，用以解决实践中难以进行的实验，就象经架，用以解决实践中难以进行的实验，就象经济学中的济学中的“其他假设不变其他假设
40、不变”(ceteris paribus)的分析。的分析。 比如说，在收入与教育关系的多元线比如说，在收入与教育关系的多元线性回归模型中，我们能够比较两个年龄完全相性回归模型中，我们能够比较两个年龄完全相同，但教育水平不同的人的收入，即使我们的同，但教育水平不同的人的收入，即使我们的样本中并不包含这样的个体数据。这就是偏回样本中并不包含这样的个体数据。这就是偏回归系数的特征。归系数的特征。 偏回归系数是这样得到的：我们将偏回归系数是这样得到的：我们将收入收入和和教教育育分别基于分别基于年龄年龄回归，得到回归残差。我们回归，得到回归残差。我们知道，知道，年龄年龄对这些残差毫无解释能力。因此，对这些
41、残差毫无解释能力。因此，“挤出挤出”年龄年龄影响后的成分之间的关系是完影响后的成分之间的关系是完全独立于全独立于年龄年龄的。的。 同样的道理可以应用到两个变量之间的相关同样的道理可以应用到两个变量之间的相关关系方面。在多元回归中，关系方面。在多元回归中，“偏相关系数偏相关系数”经常表示两个变量之间的经常表示两个变量之间的“直接关系直接关系”，这，这是一种分离其他变量影响之后的两者之间的是一种分离其他变量影响之后的两者之间的“净关系净关系”。*yz*yyzzyzr 关于两个模型关于两个模型y=xd+zc+u和和y=xb+e的的残差平方和的详细关系的推导见下页：残差平方和的详细关系的推导见下页：
42、上述定理的一个重要启示是，只要增加线性上述定理的一个重要启示是，只要增加线性回归模型中的解释变量，就可以降低回归模回归模型中的解释变量，就可以降低回归模型的残差平方和。这样一来，无论解释变量型的残差平方和。这样一来，无论解释变量与相依变量之间的关系如何，解释变量都是与相依变量之间的关系如何，解释变量都是“有用有用”的或者是的或者是“有价值有价值”的。的。 例子：取自例子：取自Greene的的经济计量分析经济计量分析 投资与其余变量之间的关系表投资与其余变量之间的关系表 简单相关系数简单相关系数 偏相关系数偏相关系数 时间时间 0.7496 -0.9360 GNP 0.8632 0.9680 利率利率 0.5871 -0.5167 通货膨胀通货膨胀 0.4777 -0.0221注意到：偏相关系数的符号与多元回归模型的参数符号相同。注意到：偏相关系数的符号与多元回归模型的参数符号相同。
