1、 （一）具有相关关系的变量（一）具有相关关系的变量 举一个例子举一个例子 身高和体重 人均消费与收入 温度与二氧化碳排放量 房地产价格与地理区位 股票价格与利率 工资与受教育年限第二章 简单线性回归模型 （二）相关关系的统计概念（二）相关关系的统计概念相关的概念来源于数理统计中两个随机变量两个随机变量的一种相依关系，两个随机变量 X 与 Y 相关是指，若随机变量 X 与 Y 的期望和方差都存在，则协方差为： EYEXEXYYX),cov( 相关系数为：DYDXEYYEXXEDYDXYXxy)(),cov( 当0XY，称 X 与 Y 为相关（线性相关） ； 第二章 简单线性回归模型 第一节 回归
2、分析与回归方程一、回归与相关一、回归与相关（一）经济变量之间的两类关系 1、确定性的函数关系确定性的函数关系变量X取确定值时，变量Y有唯一确定的值与之相对应。2、不确定性的统计关系不确定性的统计关系变量X取一定数值时，变量Y有数值与之对应，但不能事先确定，事后才能确定。不过所取的不同值按某种规律在一定范围内变化。这种关系有时也称为相关关系。利用相关系数时应注意的几个问题：利用相关系数时应注意的几个问题： 1 1、相关关系是对称的，、相关关系是对称的，yxxy 2 2、相关关系反映的两个变量之间的线性相关程度，不能、相关关系反映的两个变量之间的线性相关程度，不能说明二者的非线性相关关系。说明二者
3、的非线性相关关系。 r=0.2 r=0.8 r=1 r=r=0.2 r=0.8 r=1 r=- -0.5 r=0.5 r=- -1 1 3 3、样本相关系数、样本相关系数xy是总体相关系数是总体相关系数xy的样本估计值。的样本估计值。 4 4、相关系数反映了变量间的线性相关程度，不能确定变、相关系数反映了变量间的线性相关程度，不能确定变（三）回归分析（三）回归分析回归分析就是用来研究变量之间的不确定的统计关系。回归分析就是用来研究变量之间的不确定的统计关系。 设某产品需求量为设某产品需求量为 Y Y， 价格为， 价格为 X X， Y Y 对对 X X 的依从关系式为：的依从关系式为： XY10
4、 通过选取样本观测值，使用适当的统计量得到通过选取样本观测值，使用适当的统计量得到0和和1的的估计值估计值0和和1， 并且这种估计是无偏的， 再假设， 并且这种估计是无偏的， 再假设的期望为零，的期望为零，则有则有 Y Y 的估计值与的估计值与 X X 的线性函数关系：的线性函数关系： iiXY10ie （* *） 两边取条件期望值有：两边取条件期望值有： iiXXYE10)/( （*） 公式（公式（* *）叫做样本回归函数，公式（）叫做样本回归函数，公式（*）叫做总体回归函数，）叫做总体回归函数，几何图示： （三）回归与相关的联系与区别（三）回归与相关的联系与区别两者的联系可以从计量经济学建
5、立经济数学模型的过程去考察： （1 1）关心的是变量之间的因果关系）关心的是变量之间的因果关系 借助于经借助于经济现象规律或先验的或理论上的思考；济现象规律或先验的或理论上的思考； （2 2）研究经济变量变动的数量规律，提示隐藏在变）研究经济变量变动的数量规律，提示隐藏在变量随机性质中的统计规律量随机性质中的统计规律借助于回归技术进行分析，借助于回归技术进行分析，回归的基础是变量之间有因果关系及相关关系；回归的基础是变量之间有因果关系及相关关系； （3 3）测度变量之间的线性关联力度）测度变量之间的线性关联力度借助于相关借助于相关分析，而相关系数的确定是建立在回归分析的基础上。分析，而相关系数
6、的确定是建立在回归分析的基础上。 （三）回归与相关的联系与区别（三）回归与相关的联系与区别第二章 简单线性回归模型 第二节 总体回归函数 一个例子： 假如某地区有100个家庭构成的总体，我们要研究每月家庭消费支出Y和每月家庭可支配收入X之间的关系，并要根据已知的家庭可支配收入去预测该总体每月家庭消费支出的平均水平。为了研究的方便，把这个总体（即100个家庭）按收入水平分为10个组，并分别考察每组的家庭消费支出，见表： 将总体应变量的条件期望表示为解释变量的某种函数，这个函将总体应变量的条件期望表示为解释变量的某种函数，这个函数称为总体回归函数。数称为总体回归函数。总体回归函数所对应的图形叫做总
7、体回归曲线，其几何意义总体回归函数所对应的图形叫做总体回归曲线，其几何意义就是解释变量取给定值时应变量的条件均值或期望值的轨迹。就是解释变量取给定值时应变量的条件均值或期望值的轨迹。一般表示为：一般表示为： 此类型的总体回归函数称为此类型的总体回归函数称为条件期望形式条件期望形式。XXYEi21)( 总体回归函数概念问题：当总体所包含的单元数相当多时，用计算的值与之间规律当总体所包含的单元数相当多时，用计算的值与之间规律去确定回归函数形式是有困难的。去确定回归函数形式是有困难的。解决思路：（1）利用经济理论对总体回归函数形式作合理的假设；（2）利用局部散点图，观察总体回归函数的形式； （3）就
8、设定总体回归函数为线性函数 05010015020025030035050525456586062系列1系列2系列3系列4系列5系列6系列7系列8系列9（1）模型就变量而言是线性的；（2）模型就参数而言是线性的；例： 就变量X而言不是线性的在计量经济学中线性模型的在计量经济学中线性模型的“线性线性”有两种解释有两种解释（1次课）次课） 221)(iiXXYEiiXXYE1)(21 三、随机扰动项三、随机扰动项 条件期望值与条件期望值与各个别的各个别的Y值的偏差称为随机扰动项值的偏差称为随机扰动项，即即 称i为观察值Yi围绕它的期望值E(Y|Xi)的离差离差（deviation），是一个不可观测
9、的随机扰动项， 则有总体回归函数的随机设定形式：仍然取例1的数据说明 )(iiiXYEY iiiXY21 随机误差项主要包括下列因素的影响：随机误差项主要包括下列因素的影响：1）在解释变量中被忽略的因素的影响；2）变量观测值的观测误差的影响；3）模型关系的设定误差的影响；4）其它随机因素的影响。产生并设计随机误差项的主要原因产生并设计随机误差项的主要原因 1）理论的含糊性； 2）数据的欠缺； 3）节省原则四、样本回归函数四、样本回归函数问题1：当总体中所包含的单位数很多时，将所有单位纳入考当总体中所包含的单位数很多时，将所有单位纳入考察范围是有困难的，在这种情况下如何得到总体回归函数？察范围是
10、有困难的，在这种情况下如何得到总体回归函数？解决思路：选出总体中部分单位（样本）加以考察，近似代替总体。问题2：部分在什么情况下可以近似代替总体？部分在什么情况下可以近似代替总体？解决思路：一般要满足几个条件（样本分布应尽可能与总体保持一致；样本的选择应是随机的；样本容量要达到一定的数量要求。）问题问题3：用不同的样本，得到不同的样本回归函数，在总用不同的样本，得到不同的样本回归函数，在总体未知的情况下，怎样才知道，哪一个更接近总体，更优体未知的情况下，怎样才知道，哪一个更接近总体，更优呢？即如何寻求一种规则与方法，使所建立的样本回归函呢？即如何寻求一种规则与方法，使所建立的样本回归函数的参数
11、，能够尽可能地数的参数，能够尽可能地“接近接近”总体回归函数中的参数？总体回归函数中的参数？ 解决思路：解决思路：一般是对所建立的样本回归函数中的参数进一般是对所建立的样本回归函数中的参数进行一些检验，达到一定的检验指标，就认为模型是可接行一些检验，达到一定的检验指标，就认为模型是可接受的，即可以作为总体的近似。受的，即可以作为总体的近似。以上两个线性回归函数来源于样本，称为样本回归函数以上两个线性回归函数来源于样本，称为样本回归函数 第二节第二节 简单线性回归模型的最小二乘简单线性回归模型的最小二乘法估计法估计一、简单线性回归模型的基本假定一、简单线性回归模型的基本假定1、关于变量和模型的假
12、定、关于变量和模型的假定（1 1）解释变量）解释变量X X看作是非随机的，在重复抽样中取一组固看作是非随机的，在重复抽样中取一组固定的数值定的数值（2 2）若解释变量）若解释变量X X是随机的，也与随机扰动项是随机的，也与随机扰动项相独立；相独立；（3 3）解释变量的观测值无测量误差；）解释变量的观测值无测量误差；（4 4）变量和函数形式的设定是正确，无设定误差。）变量和函数形式的设定是正确，无设定误差。一元线性回归模型 计量模型：y = 0 + 1x + u, The coefficients 0 , 1是回归系数（regression coefficients）.1、0 是常数项 (con
13、stant term), 或者截矩项 2、1 代表解释变量X的边际效果（ marginal effects of the regressor, x）. 也称作斜率参数 0 , 1被称为回归系数 u 为误差项或扰动项，代表了除了x之外，可以影响y的其他所有因素Examples 一个简单的工资方程： 工资= 0 + 1 教育年限 + u 上述简单工资函数描述了工资和受教育年限，以及其他不可观测因素u之间的关系. 1 衡量的是，在其他因素(包含在误差项u里面）不变的情况下，多接受一年教育，可以增加多少工资。 其他因素包括：劳动力市场经验、内在的能力、目前所从事工作的工龄、职业道德, 以及其他许多因素
14、，包含在u中。 居民消费函数：Y=c+aX1+bX2+随机误差项u 其中，Y代表居民支出；X1代表居民收入；X2代表家庭财富；c是常数，即居民基本消费 此时随机误差项代表的是：GDP、消费者价格指数、工业品价格指数、本币汇率、大宗商品价格指数、房价均值、子女教育费均值等等 我们知道，收入和财富是决定居民支出较为直接的变量，所以我们将其引入模型中，而宏观经济情况和价格水平都是间接影响着居民支出的。如果我们需要更详细全面的模型，那么我们需要引入更多的变量；但引入更多变量的成本也较大，比如多重共线、自相关问题等。 2、关于随机扰动项的假定（称高斯假定或经典假定）（1）零均值假定。即（2）同方差假定。
15、即（3）无自相关假定。 即（4）随机扰动项与解释变量不相关假定。即 （5）正态性假定。即 0)(iiXE0)()(),(iiiiiiXEXEEXCov0)()()(),(jijjiijiEEEECov222)/()/(iiiiiiEuXuEuEXVar), 0(2Ni异方差XYX10XYX10序列自相关10.3iiuu XXYX10YX10负相关正相关10.6iiuu 不相关不相关 自相关自相关 (正正) 自相关自相关(负负)3、关于被解释变量、关于被解释变量y的假定（的假定（2次课次课)二、模型估计：普通最小二乘法（二、模型估计：普通最小二乘法（OLS）yX.12iiYX111eYY222e
16、YY2minieY1Y2最小二乘法的原理:找一条直线使得所有这些点到该直线的纵向距离的和（平方和）最小12122()02()0iiiiYXYXX12212iiiiiiYnXX YXX 对 求导，得到12, 2222122()()iiiiiiiiiiiiinX YXYnXXXYXX YnXX2121minniiiYX正规方程组如果令如果令XXxii YYyii 则待定参数计算则待定参数计算公式可以表示离差形式公式可以表示离差形式，在例，在例 2.22.2 中中： 22109312500.5320625000iiix yx 122074.50.53 3250352YX 3520.53iiYX 普通
17、最小二乘法参数估计量的离差形式普通最小二乘法参数估计量的离差形式 Excel估计 例1（P27）三、三、OLS回归的统计性质回归的统计性质 1、回归线通过样本均值。、回归线通过样本均值。 即即 2、估计值的均值等于实际观测值的均值。、估计值的均值等于实际观测值的均值。 即即 3、剩余项的均值为零。、剩余项的均值为零。 即即 4、应变量估计值与剩余项不相关。、应变量估计值与剩余项不相关。 即即 5、解释变量、解释变量X与剩余项与剩余项e不相关。不相关。 即即 XY21( )( )E YE Y( , )0Cov Y e ( )0E e 0),(eXCov 四、最小二乘估计量的性质四、最小二乘估计量
18、的性质 当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。一个用于考察总体的估计量，可从如下几个方面考察其优劣性： （1）线性性）线性性，即它是否是另一随机变量的线性函数； （2）无偏性）无偏性，即它的均值或期望值是否等于总体的真实值； （3）有效性）有效性，即它是否在所有线性无偏估计量中具有最小方差。 在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量*()E( )f*()f概率密度的估计值无偏性*()f( )f概率密度的估计值最小方差性*( )()VarVar是关于样本观测值是关于样本观测值Yi的线性函数的线性函
19、数12,线性特征线性特征222iiiiiiiix yxYkYxx2iiixkx12YX因为 是关于Y 的线性函数，而Y是关于随机扰动项 ui的线性函数，所以 也是ui的线性函数，且服从正态分布12, 12, 22112(,)iiXNnx 2222(,)iNx第三节第三节 经典经典线性回归模型的统计检验线性回归模型的统计检验 一、拟合优度检验一、拟合优度检验 二、变量的显著性检验二、变量的显著性检验 三、参数的置信区间三、参数的置信区间 1 1、总离差平方和的分解、总离差平方和的分解 已知由一组样本观测值（Xi,Yi），i=1,2,n得到如下样本回归直线 iiXY10iiiiiiiyeYYYYY
20、Yy)()( 如果Yi=i 即实际观测值落在样本回归“线”上，则拟合最好拟合最好。可认为，“离差”全部来自回归线，而与“残差”无关。 对于所有样本点，则需考虑这些点与样本均值离差的平方和,可以证明：记22)(YYyTSSii总体平方和总体平方和（Total Sum of Squares）22)(YYyESSii回归平方和回归平方和（Explained Sum of Squares）22)(iiiYYeRSS残差平方和残差平方和（Residual Sum of Squares ）TSS=ESS+RSS Y的观测值围绕其均值的总离差总离差(total variation)可分解为两部分：一部分来自
21、回归线一部分来自回归线(ESS)，另一部，另一部分则来自随机势力分则来自随机势力(RSS)。在给定样本中，TSS不变， 如果实际观测点离样本回归线越近，则ESS在TSS中占的比重越大，因此 拟合优度拟合优度：回归平方和：回归平方和ESS/YESS/Y的总离差的总离差TSSTSS22211iieE S SR S SRT S ST S Sy2、可决系数、可决系数R2 2统计量统计量 称 R2 为（样本）（样本）可决系数可决系数/判定系数判定系数（coefficient of determination)。 可决系数可决系数的取值范围取值范围：0，1 R2 2越接近越接近1 1，说明实际观测点离样本
22、线越近，拟，说明实际观测点离样本线越近，拟合优度越高合优度越高。在实际计算可决系数时，在1已经估计出后： 22212iiyxR 在例2.2收入收入-消费支出消费支出例中， 22276650110.98695870212.5iieRy 注：可决系数注：可决系数是一个非负的统计量。它也是是一个非负的统计量。它也是随着抽样的不同而不同。为此，对可决系数的统随着抽样的不同而不同。为此，对可决系数的统计可靠性也应进行检验，这将在第计可靠性也应进行检验，这将在第3章中进行。章中进行。 二、变量的显著性检验二、变量的显著性检验 回归分析回归分析是要判断解释变量解释变量X是否是被解释变被解释变量量Y的一个显著
23、性的影响因素。 在一元线性模型一元线性模型中，就是要判断X是否对Y具有显著的线性性影响。这就需要进行变量的显著变量的显著性检验。性检验。 变量的显著性检验所应用的方法是数理统计变量的显著性检验所应用的方法是数理统计学中的学中的假设检验假设检验。 计量经计学中计量经计学中，主要是针对变量的参数真值，主要是针对变量的参数真值是否为零来进行显著性检验的。是否为零来进行显著性检验的。 1、什么是假设检验、什么是假设检验 所谓假设检验假设检验，就是事先对总体参数或总体分布形式就是事先对总体参数或总体分布形式作出一个假设，然后利用样本信息来判断原假设是否合作出一个假设，然后利用样本信息来判断原假设是否合理
24、，即判断样本信息与原假设是否有显著差异，从而决理，即判断样本信息与原假设是否有显著差异，从而决定是否接受或否定原假设定是否接受或否定原假设。 假设检验采用的逻辑推理方法是反证法。假设检验采用的逻辑推理方法是反证法。 先假定原假设正确，然后根据样本信息，观察由此假设而导致的结果是否合理，利用适当的符合某种概率分布的统计量和给定的显著性水平，构造一个小概率事件，通过小概率事件来判断对总体参数的假设是否正确判断结果合理与否，是基于判断结果合理与否，是基于“小概率事件不易发生小概率事件不易发生”这这一原理，小概率事件在一次抽样中不会发生，如果小概一原理，小概率事件在一次抽样中不会发生，如果小概率事件发
25、生，说明原假设不正确，就拒绝原假设。率事件发生，说明原假设不正确，就拒绝原假设。 2、变量的显著性检验、变量的显著性检验 ：t检验),(2211ixN)2(1112211ntSxti 检验步骤：检验步骤： （1）对总体参数提出假设 H0： 1=0， H1：10（2）以原假设H0构造t统计量，并由样本计算其值111tS（3）给定显著性水平，查t分布表，得临界值t /2(n-2)(4) 比较，判断 若 |t| t /2(n-2)，则拒绝H0 ，接受H1 ； 若 |t| t /2(n-2)，则拒绝H1 ，接受H0 ；t分布()f XX0(2)tn(2)tn22*22tttX服从正态分布Y 服从 分布
26、2接受原假设H0*2|tt拒绝原假设H020.05,2.1009t假如12.563t01.869t接受域 对于一元线性回归方程中的1，可构造如下t统计量进行显著性检验：1111222 (2)iitt nSXnx在上述例2收入-消费支出例中，首先计算2的估计值 222212766509581.2522102iiieyxnn2229581.25/ 206250000.02155iSx122229581.25/102062500076.58iiiSXnxXt统计量的计算结果分别为： 给定显著性水平=0.05，查t分布表得临界值 t 0.05/2(8)=2.306 |t1|2.306，说明家庭可支配收
27、入在家庭可支配收入在95%95%的置信的置信度下显著，即是消费支出的主要解释变量；度下显著，即是消费支出的主要解释变量； |t2|2.306,表明在95%的置信度下，拒绝截距项为零（ H0： 2=0）的原假设 *2120.5325.52200.02155()tSE*222/()352/76.584.596tSE 假设检验假设检验可以通过一次抽样的结果检验总体参数可能的假设值的范围（如是否为零），但它并没有指出在一次抽样中样本参数值到底离总体参数的真值有多“近”。 要判断样本参数的估计值在多大程度上可以“近似”地替代总体参数的真值，往往需要通过构造一个以样本参数的估计值为中心的“区间”，来考察它
28、以多大的可能性（概率）包含着真实的参数值。这种方法就是参数检验的置信区间估计置信区间估计。 3 3、参数的置信区间、参数的置信区间 1)(P 如 果 存 在 这 样 一 个 区 间 ， 称 之 为 置 信 区 间置 信 区 间（confidence interval）； 1-称为置信系数置信系数（置信度置信度）（confidence coefficient）， 称为显著性水平显著性水平（level of significance）；置信区间的端点称为置信限置信限（confidence limit）或临界值临界值（critical values）。t分布()f XX02(2)tn22XtYnX服
29、从正态分布Y 服从 分布21置信区间2(2)tn一元线性模型中一元线性模型中， i (i=1，2）的置信区间的置信区间: :在变量的显著性检验中已经知道： )2(ntstiii 意味着，如果给定置信度（1-），从分布表中查得自由度为(n-2)的临界值，那么t值处在(-t/2, t/2)的概率是(1- )。表示为： Pttt()221即22()1iiiPttSE 22()()1iiiiiPtSEtSE 于是得到:(1-)的置信度下, i的置信区间是 (,)iitstsii22 在上述收入收入- -消费支出消费支出例中，如果给定 =0.05，查表得： 20.025(2)(8)2.306tnt由于1
30、76.582S20.0216S于是，1、2的置信区间分别为： （175.40，528.59 ) （0.4803，0.5797) 12352,0.5312iiYX2122()iiYtSEXXiYi2122()iiYtSEXX1Y2YY) 1 , 0()(222111111NxnXseZii) 1 , 0()(22222222NxseZi),(22212221iiiixnXxnX 得，在显著性水平 下，临界值为 ，则 的估计区间是1、 的方差的方差 已知，已知， 与与 的区间估计。由的区间估计。由21212, ),(222222iixx在大样本下，用 代替 ，仍可利用正态分布作区间估计，此时 的区
31、间估计分别为：2122212, ),(22212221iiiixnXxnX),(222222iixx 在小样本下：在小样本下：212)2()( 22211111ntxnXestii)2()( 2222222ntxesti 在显著性水平下在显著性水平下 ，临界值为，临界值为 ， 则则 的区间估计分别为：的区间估计分别为：)2(2/nt12, )2(,)2(2222/12222/1iiiixnXntxnXnt)2(,)2(222/2222/2iixntxnt案例分析:中国城市居民消费支出第四节 回归模型预测1、对、对Y0平均值的点预测平均值的点预测0100XY总体回归函数0100100100)()
32、()(XEXXEYE0101000100)()()()(XEXEXEYE当人均收入Xi=8000时，人均消费3520.53 80004592iY 2、对、对Y0平均值预测的置信区间平均值预测的置信区间 由于 0100XY于是回归分析表解释：回归分析表解释：)(1(,(22020100ixXXnXNY)2()(00100ntSXYtY其中0202000)|(YYStYXYEStY于是，在1-的置信度下，总体均值总体均值E(Y|X0)的置信区间为的置信区间为 )(1(22020iYxXXnS3、对、对Y Y0 0总体个值的预测区间总体个值的预测区间 由 Y0=0+1X0+ 知: ),(20100X
33、NY于是 )(11 (, 0(220200ixXXnNYY)2(0000ntSYYtYY式中 :)(11 (220200iYYxXXnS从而在1-的置信度下， Y0的置信区间的置信区间为 002020000YYYYStYYStY在收入收入-消费支出消费支出例中，得到的样本回归函数为 iiXY777. 0172.103 则在 X0=1000处， 0 = 103.172+0.7771000=673.84 29.37277425000)21501000(10113402)(20YVar而05.61)(0YS 因此，总体均值总体均值E(Y|X=1000)的95%的置信区间为： 673.84-2.306
34、61.05 E(Y|X=1000) 673.84+2.30661.05 或 （533.05, 814.62） 0202000)|(YYStYXYEStY 对于Y的总体均值E(Y|X)与个体值的预测区间（置信区间）:（1）样本容量n越大，预测精度越高，反之预测精度越低；（2）样本容量一定时，置信带的宽度当在X均值处最小，其附近进行预测（插值预测）精度越大；X越远离其均值，置信带越宽，预测可信度下降。eviewseviews应用软件中的广义差分法应用软件中的广义差分法 在在Eview/TSP软件包下，广义差分采用了科克软件包下，广义差分采用了科克伦伦-奥科特（奥科特（Cochrane-Orcutt）迭代法估计）迭代法估计 。 在解释变量中引入在解释变量中引入AR(1)(1)、AR(2)(2)、，即可得即可得到参数和到参数和1、2、的估计值。的估计值。 其中其中AR( (m) )表示随机误差项的表示随机误差项的m阶自回归。在阶自回归。在估计过程中自动完成了估计过程中自动完成了1、2、的迭代。的迭代。
