1、1第六章：异方差，检验及其修正2 线性回归模型的基本假设线性回归模型的基本假设 ikikiituxxxy22110i=1,2,N 在普通最小二乘法中，为保证参数估计量具有良好的性质，通常对模型提出若干基本假设：1解释变量之间互不相关；2随机误差项具有0均值和同方差。即 0)(iuE2)(iuVari=1,2,N 即随机误差项的方差是与观测时点t无关的常数；3不同时点的随机误差项互不相关（序列不相关），即 0),(siiuuCovs 0,i=1,2,N 3当随机误差项满足假定1 4时，将回归模型”称为“标准回归模型”当随机误差项满足假定1 5时，将回归模型称为“标准正态回归模型”。如果实际模型满
2、足不了这些假定，普通最小二乘法就不再适用，而要发展其他方法来估计模型。5随机误差项服从0均值、同方差的正态分布。即),0(2Niui=1,2,N 4随机误差项与解释变量之间互不相关。即 0),(ijiuxCov j=1,2,k,i=1,2,N 46.1 异方差异方差n古典线性回归模型的一个重要假设：同方差总体回归方程的随机扰动项 ui 同方差，即他们具有相同的方差 2n实际现象常常不符合严格的假设条件：如果随机扰动项的方差随观测值不同而异，即ui 的方差为i2，就是异方差。用符号表示异方差为E(ui2)=i2 n异方差现象：在许多应用中都存在，主要出现在截面数据分析中5n实际经济问题与异方差性
3、n几个例子：6收入与储蓄7收入与消费8产出与投入9变量变量可支配收入可支配收入 交通和通讯支出交通和通讯支出变量变量可支配收入可支配收入交通和通讯支出交通和通讯支出 地区INCUM地区INCUM 甘 肃 山 西 宁 夏 吉 林 河 南 陕 西 青 海 江 西黑龙江内蒙古 贵 州 辽 宁 安 徽 湖 北 海 南4009.614098.734112.414206.644219.424220.244240.134251.424268.504353.024565.394617.244770.474826.364852.87159.60137.11231.51172.65193.65191.76197.
4、04176.39185.78206.91227.21201.87237.16214.37265.98新 疆 河 北四 川山 东广 西湖 南重 庆江 苏云 南福 建天 津浙 江北 京上 海广 东5000.795084.645127.085380.085412.245434.265466.576017.856042.786485.637110.547836.768471.988773.108839.68212.30270.09212.46255.53252.37255.79337.83255.65266.48346.75258.56388.79369.54384.49640.56表1 中国1998
5、年各地区城镇居民平均每人全年家庭可支配收入及交通和 通讯支出 （单位：元）10例6.1：研究人均家庭交通及通讯支出(cum)和可支配收入(in)的关系，考虑如下方程：cumi=0+1ini+ui利用普通最小二乘法，得到如下回归模型：cumi=-56.917+0.05807ini (6.1.4)(-1.57)(8.96)R2=0.74 D.W.=2.00811从图形上可以看出：1.平均而言，城镇居民家庭交通和通讯支出随可支配收入的增加而增加。2.但是，值得注意的是：随着可支配收入的增加，交通和通讯支出的变动幅度也增大了，可能存在异方差。3.把回归方程中得到的残差对各个观测值作图，则可以清楚地看到
6、这一点。12练习1：n打开工作文件4-1n对in与cum做回归，n画出in与cum之间的回归线，并观察两者之间的关系n再分别利用in与cum对方程残差画出散点图，观察其特点13n无偏性与有效性：异方差的存在并不破坏普通最小二乘法的无偏性但估计量却不是有效的，即使对大样本也是如此，因为缺乏有效性，所以通常的假设检验值不可靠。n当怀疑存在异方差，或者已经检测到异方差的存在，需要采取补救措施。存在异方差146.2 异方差检验n1.图示检验法n(1)X-Y的散点图n观察是否存在明显的散点扩大、缩小或复杂型趋势（即不在一个固定的带型域中）15n(2)X-i2的散点图n先采用OLS方法估计模型，以求得随机
7、误差项u的方差i2的估计量(注意，该估计量是不严格的)，我们称之为“近似估计量”，用 ei2 表示。于是有：即用 ei2 来表示随机误差项的方差。n用解释变量x 和 ei2的散点图进行观察：随着x增加，方差是否出现逐渐增加、下降或者不规则变化。22)()var(iiieuEu16练习2：n打开工作文件4-1，4-3n分别用两种图示演示法（x-y以及X-i2）观察工作文件中的方程是否存在异方差性n请根据图形判断随着x增加，方差出现增加、下降还是不规则变化n将截图保存至word文档，并辅以自己的分析解释n最后将word文档取名为学号+姓名，提交。17 2.White检验法nWhite(1980)提
8、出了对最小二乘回归中残差的异方差性的检验。n两种检验：包括有交叉项和无交叉项（取默认值即可）。n普通最小二乘估计虽然在存在异方差性时是一致的，但是通常计算的标准差不再有效。n如果发现存在异方差性，利用加权最小二乘法可以获得更有效的估计（修正异方差）。18检验统计量是通过利用解释变量所有可能的交叉乘积对残差进行回归来计算的。例如：假设估计如下方程(6.1.6)式中：b是估计系数，i 是残差。检验统计量基于辅助回归：(6.1.7)EViews显示两个检验统计量：F统计量和 Obs*R2 统计量。White检验的原假设：不存在异方差性（即式（6.1.7）中除0以外的所有系数都为0成立）iiiiuzx
9、y321iiiiiiiizxzxzxu52423210219 White证明出：（6.1.8）其中：N是样本容量，k为自由度，等于式（6.1.7）中解释变量个数（不包含截距项）。如果计算的2值大于给定显著性水平对应的临界值，则可以拒绝原假设，得出存在异方差的结论。也就是说，回归方程（6.1.7）的R2越大，说明残差平方受到解释变量影响越显著，也就越倾向于认为存在异方差。如果原模型中包含的解释变量较多，那么辅助回归中将包含太多的变量，这会迅速降低自由度。因此，在引入变量太多时，必须谨慎一些。White检验的另外一种形式，就是辅助回归中不包含交叉项。因此White检验有两个选项：交叉项和无交叉项。
10、22kRN20例6.2：人均家庭交通及通讯支出(CUM)和可支配收入(IN)的回归方程的 White 异方差检验的结果：该结果F 统计量和 Obs*R2 统计量的P值均很小，表明拒绝原假设，即残差存在异方差性。21由于假设的异方差形式不同，使用的辅助回归也不同，导致了不同的检验方法。各不同方法的异方差形式和辅助回归方程：Breusch-Pagan-Godfrey(BPG)异方差检验方法 ，Harvey异方差检验 ，Glejser异方差检验 ，iiiiuz22)(22ziih)exp(2ziiiiiuz)ln(2mii)(22ziiiuz22练习3-1：n打开工作文件4-1n建立被解释变量人均家
11、庭交通及通信支出（cum），解释变量可支配收入（in）的回归方程n利用White检验法检验此回归方程是否存在异方差。23练习3-2：n打开工作文件4-3n建立被解释变量住房支出（y），解释变量年收入（x）的OLS回归方程n利用White检验法检验此回归方程是否存在异方差。243.Goldfeld-Quant检验法25nG-Q检验具体步骤：将样本按解释变量中可能出现异方差的序列进行排序（SORT X）并分成两部分 利用样本1建立回归模型1 利用样本2建立回归模型2 计算F统计量 ，分别是模型1和模型2的残差平方和(5)查F分布表得F值，进行观察得出是否存在异方差的结论12/RSSRSSF 21R
12、SSRSS 和26操作中的具体问题：n1.如何将样本分为两部分？n2.如何观察F值得出结论？27如何将样本分为两部分n1.首先要将样本按X从小到大的顺序进行排列（SORT X）n2.去除中间的一部分样本n3.将剩余的样本两等分，成为后续操作中的“样本1建立模型1”和“样本2 建立模型2”28到底去除多少样本为合适？n哈维和菲利普（1974年）的证据表明，放弃的观测值数不应多于总样本数的1/3.n通过将样本分成具有n1和n2个观测值的两组来进行此检验。为取得统计上独立的方差估计量，回归是采用两组观测值分布进行估计的。该检验统计量为：n其中我们假设第一个样本中的扰动方差大于第二组（反之则可对换下标
13、）。在同方差零假设情况下，此统计量为自由度为n1-K和n2-K的F分布。29n例如：假设存在一个30个观测值的样本，n首先将解释变量按从小到大进行排序n然后减去一个不超过1/3量的中间样本（不超过10个），为保持剩下的可以平均分为2组，所以本例中应该去除8个中间样本。n因此，样本1为1-11，样本2为20-3030练习4:n假设存在一个观测值为40的样本，需要进行G-Q异方差检验，请问如何进行样本分组？31如何观察F值得出结论？n计算F统计量：A，其中 分别是模型1和模型2的残差平方和n确定一个临界值(如1%，5%，10%)，查F分布表得：F（n1-k,n2-k）=Bn如果AB，即F值大于临界
14、值，则存在异方差n如果AB，即F值小于临界值，则不存在异方差12/RSSRSSF 21RSSRSS 和32练习5：n打开工作文件4-1，和4-3n用G-Q法判定方程是否存在异方差性？（其中：F0.05（8,8）=3.44，F0.05（5,5）=5.05）334.Park检验法（帕克检验与戈里瑟检验）3435n帕克检验的不足：需要选择不同的解释变量，尝试各种不同的函数形式，进行多次反复试验在进行试验的回归模型中，其随机干扰项本身就可能不满足普通最小二乘的经典假设nG-Q检验法可以同时克服这两大困难。因此，G-Q检验法更为常用。36n帕克检验具体步骤：建立回归模型，得到原方程残差序列生成新变量序列
15、（其中一种常见形式）：GENR lnE2=log(RESID2)GENR lnx=log(x)建立新残差序列对解释变量的回归模型：LS lnE2 C lnx观察lnx的系数及P值：系数不为0，且显著，则表示存在异方差性 反之，则表示不存在异方差性 37练习6-1：n打开工作文件4-1n对原方程进行帕克检验 （GENR lnE2=log(RESID2)以及 GENR lnx=log(x)）n检验是否存在异方差？38练习6-2：n打开工作文件4-3n对原方程进行帕克检验 （GENR lnE2=log(RESID2)以及 GENR lnx=log(x)）n检验是否存在异方差？396.3 异方差修正n
16、6.3.1 加权最小二乘法n6.3.2 存在异方差时的一致协方差（异方差稳健标准误）406.3.1 加权最小二乘估计 1方差已知的情形 考虑一个一元回归线性方程：（4.1.11）假设已知随机误差项的真实的方差，var(ui)=i2，则令wi=1/i，将模型两端同乘wi，变换为 （4.1.12）令ui*=wiui，则 （4.1.13）因此，变换后的模型（4.1.12）不再存在异方差的问题，可以用OLS估计。加权最小化残差平方和为：（4.1.14）由此获得的估计量就是权重序列为 wi的加权最小二乘估计量。iiiuxy10Ni,2,1iiiiiiiuwxwwyw)(101/)var()var()va
17、r(2*iiiiiuuwu2102)()(bxbywSiiiib41假设有已知形式的异方差性，并且有序列w，其值与误差标准差的倒数成比例。这时可以采用权数序列为w 的加权最小二乘估计来修正异方差性。对加权最小化残差平方和得到估计结果:22)()(xiiiiywS其中 是k 1维向量。在矩阵概念下，令权数序列 w 在权数矩阵W的对角线上，其他地方是零，即W 矩阵是对角矩阵，y 和X是因变量和自变量矩阵。则加权最小二乘估计量为：（4.1.18）估计协方差矩阵为：（4.1.19）WyWXWXWXb1)(WLS12)(WXWXsWLS42例例6.3 加权最小二乘估计加权最小二乘估计 考虑对由四组家庭住
18、房支出和年收入组成的截面数据进行研究（工作文件4-3）假设住房支出模型为 其中：yi是住房支出，xi是收入。普通最小二乘估计得出如下回归结果：t=(4.4)(15.9)R2=0.93 F=252.7对数据图形的研究及以前有关支出的研究结果都说明此模型具有异方差现象iiiuxyiixy237.089.04344对住房支出模型进行异方差修正（权重为1/X），然后进行估计。变换后的模型为其结果为：t=(21.3)(7.7)R2=0.76 F=58.7注意：修正后关于收入的回归系数的估计值为0.249，比原来普通最小二乘估计有所增加。R2下降，但是，并不能直接比较R2，因为因变量已经发生了变化。*1i
19、iiiuxxyiiixxy17529.0249.045使用加权最小二乘法得到：46 2方差未知的情形n现实情况：异方差形式难以确认n通常采用的经验方法是：不对原模型进行异方差检验，而是直接选择加权最小二乘法，尤其是采用截面数据作样本时。如果确实存在异方差性，则被有效地消除了；如果不存在异方差性，则加权最小二乘法等价于普通最小二乘法。47具体步骤：n1选择OLS估计原模型，得到随机误差项的近似估计量 t；n2建立权数序列（通过试验）；n3选择加权最小二乘法（WLS），以权重序列作为权，进行估计得到参数估计量。得到一个新模型，采用普通最小二乘法估计新模型。48权重序列如何确定？nA:根据图示法先观
20、察，并进行初步的假设：1.误差方差与xi成比例，令权重为1/xi0.52.误差方差与xi2成比例，令权重为1/xinB:利用随机误差项的近似估计量ui，令权重为1/abs(resid)，1/resid2nC:利用park检验中，lnx的系数，令权重为1/X(lnx的系数)49使用加权最小二乘法估计方程首先到主菜单中选Quick/Estimate Equation ,然后选择LS-Least Squares(NLS and ARMA)在对话框中输入方程说明和样本，然后按Options钮,出现如下对话框：50单击Weighted LS/TSLS选项在Weighted 项后填写权数序列名，单击OK5
21、1例例4.4：加权最小二估计（：加权最小二估计（2）n工作文件4-1中，已经用OLS对cum以及in进行回归，得到残差序列en用e的绝对值的倒数序列最为加权序列w，同乘模型两端，n用OLS继续估计，得到如下方程结果：5253nEViews会打开结果窗口显示标准系数结果（如上图）n其中包括加权统计量和未加权统计量。加权统计结果是用加权数据计算得到的：未加权结果是基于原始数据计算的残差得到的：n估计后，未加权残差存放在RESID序列中。)(WLSiiiiywubxWLSiiiyubx54如果残差方差假设正确，则加权残差不应具有异方差性。如果方差假设正确的话，未加权残差应具有异方差性，残差标准差的倒
22、数在每个时刻 t 与 w 成比例。检验加权残差的异方差性检验：可以看到加权最小二乘法消除了残差的异方差性。55练习7n打开工作文件4-3n对方程进行ols回归（被解释变量为y，解释变量为x）n用怀特检验法检验是否存在异方差性n假设权重已知，为1/x，n请用WLS对方程进行修正，并对新方程进行怀特检验观察是否已经消除异方差性。56为什么引入这一方法？n加权最小二乘法的关键：寻找模型中随机扰动项的方差与解释变量间适当的函数形式（困难）n虽然异方差稳健标准误方法不能得到有效的估计量，但是由于可以得到OLS估计量正确的方差估计，从而使各种统计检验不再失效n因此：此方法成为在不能较好地实施加权最小二乘法
23、时，消除异方差不良后果的主要手段6.3.2 存在异方差时的一致协方差存在异方差时的一致协方差（异方差稳健标准误）（异方差稳健标准误）57n当异方差性形式未知时，使用加权最小二乘法提供在异方差存在时的一致参数估计，但通常的OLS标准差不正确。n在描述协方差估计技术之前，应注意：使用White异方差一致协方差或Newey-West异方差一致协方差估计不会改变参数的点估计，只改变参数的估计标准差。可以结合几种方法来计算异方差和序列相关。如把加权最小二乘估计与White 或Newey-West协方差矩阵估计相结合。58 1.异方差一致协方差估计（White）Heteroskedasticity Con
24、sistent Covariances（White）White(1980)得出在存在未知形式的异方差时，对系数协方差进行正确估计的异方差一致协方差估计量。White 协方差矩阵公式为：1121)()(XXxxXXNiiiiWukNN其中N是观测值数，k是回归变量数，i 是最小二乘残差。EViews在标准OLS公式中提供White协方差估计选项。打开方程对话框，说明方程，然后按Options钮。接着，单击异方差一致协方差(Heteroskedasticity Consistent Covariance)，选择White 钮，接受选项估计方程。59例4.5：在输出结果中，EViews会包含一行文字
25、说明表明使用了White估计量602.HAC一致协方差（Newey-West）前面描述的White协方差矩阵假设被估计方程的残差是序列不相关的。Newey和West(1987)提出了一个更一般的估计量，在有未知形式的异方差和自相关存在时仍保持一致。Newey-West估计量为：其中 11)()(XXXXNWNtqvNviiiviviviviiitttuuuuqukNN1112)(11xxxxxx61q 是滞后截尾，一个用于评价OLS随机误差项 ut 的动态的自相关数目的参数。根据Newey-West 假设，EViews中令 q 为：Newey-West异方差一致协方差估计量，不能和加权最小二乘
26、法一起使用。使用Newey-West 方法，在估计对话框中按Options钮。在异方差一致协方差项中选Newey-West钮。)100(4(92Tfloorq 62 Newey-West估计量为：63练习8n打开工作文件4-1n请用：异方差一致协方差估计HAC一致协方差n对原方程进行计算，得出估计结果64练习9-1n某年份制造业28个行业的利润Y与销售收入X的统计数据如下：n1.画出Y与X的散点图n2.估计一元线性回归方程，并 分析残差，判断是否存在异方差n3.对样本进行G-Q检验，White检验，Park检验，判断 是否存在异方差n4.请用加权最小二乘法修正方n程，以消除异方差性65练习9-2n居民储蓄Y与个人收入X之间的关系，如右图：n问题：n1.以残差序列图检验异方差的存在性。n2.以残差与解释变量之间的变化趋势观察异方差的存在性。n3.以G-Q检验法white检验法以及其他方法检验异方差性。n4、设法消除异方差性。
