线性回归模型课件.ppt

1、第二部分 线性回归模型Chp 6 线性回归的基本思想线性回归的基本思想 双变量模型双变量模型6-2主要内容主要内容n一、回归的含义一、回归的含义n二、总体回归函数（二、总体回归函数（PRF）n三、随机误差项三、随机误差项n四、样本回归函数（四、样本回归函数（SRF）n五、五、“线性线性”回归的含义回归的含义n六、参数估计：普通最小二乘法六、参数估计：普通最小二乘法n七、案例分析七、案例分析6-3一、回归的含义一、回归的含义1.变量间的关系变量间的关系（1）确定性关系或或函数关系：研究的是确研究的是确定现象非随机变量间的关系。定现象非随机变量间的关系。（2）统计依赖）统计依赖或相关关系：研究的是

2、非确定现相关关系：研究的是非确定现象随机变量间的关系。象随机变量间的关系。农作物产量农作物产量=f(气温，降雨量，阳光，施肥量气温，降雨量，阳光，施肥量)圆面积圆面积=f(，r)=r26-4n对变量间对变量间统计依赖关系统计依赖关系的考察主要是通的考察主要是通过过相关分析相关分析(correlation analysis)或或回归回归分析分析(regression analysis)来完成的。来完成的。统计依统计依赖关系赖关系线性线性相关相关非线性非线性相关相关正相关正相关不相关不相关负相关负相关相关系数：相关系数：-1 XY 1正相关正相关不相关不相关负相关负相关有因果关系有因果关系回归分析

3、回归分析无因果关系无因果关系相关分析相关分析6-5n相关、回归与因果关系相关、回归与因果关系不线性相关并不意味着不相关。不线性相关并不意味着不相关。有相关关系并不意味着一定有因果关系。有相关关系并不意味着一定有因果关系。回归分析回归分析/相关分析相关分析研究一个变量对另一个（些）研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一定有变量的统计依赖关系，但它们并不意味着一定有因果关系。因果关系。相关分析相关分析对称地对待任何（两个）变量，两个变对称地对待任何（两个）变量，两个变量都被看作是随机的。量都被看作是随机的。回归分析回归分析对变量的处理方对变量的处理方法存在不对称性，即区分

4、应变量（被解释变量）法存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）：前者是随机变量，后者和自变量（解释变量）：前者是随机变量，后者不是。不是。6-62.回归分析的基本概念回归分析的基本概念n回归分析回归分析(regression analysis)(regression analysis)是研是研究一个变量关于另一个（些）变量的具究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。体依赖关系的计算方法和理论。其目的其目的在于通过后者的已知或设定值，去在于通过后者的已知或设定值，去估计和（或）预测前者的（总体）均值。估计和（或）预测前者的（总体）均值。被解释变量被解释变

5、量（Explained VariableExplained Variable）或）或应应（因）（因）变量变量（Dependent VariableDependent Variable）。）。解释变量解释变量（Explanatory VariableExplanatory Variable）或）或自自变量变量（Independent VariableIndependent Variable）。）。6-73.回归分析的目的：回归分析的目的：根据样本观察值对经济计量模型参数进行根据样本观察值对经济计量模型参数进行估计，求得回归方程；估计，求得回归方程；对回归方程、参数估计值进行显著性检验；对回归方程

6、、参数估计值进行显著性检验；利用回归方程进行分析、评价及预测。利用回归方程进行分析、评价及预测。6-8二、总体回归函数（二、总体回归函数（PRF）n回归分析关心的是根据解释变量的已知或给定值，考察被解释变量的总体均值，即当解释，即当解释变量取某个确定值时，与之统计相关的被解释变量取某个确定值时，与之统计相关的被解释变量所有可能出现的对应值的平均值变量所有可能出现的对应值的平均值。6-9例：每周博彩支出和个人可支配收入例：每周博彩支出和个人可支配收入个人可个人可支配收入支配收入（美元）（美元）每周博彩支出每周博彩支出消费者消费者1501501751752002002252252502502752

7、753003003253253503503753751 128283333353536363838404042424343454546462 227273131313134343636373739393535393940403 325252929303031313333323234343131333334344 433332727282829293030303031313030303031315 523232424262627272828292930302929272728286 615152020222226262525272729293333303032327 71818181820202

8、3232323252526263232282830308 812121515171721212222222224243030323231319 9131314141616181820201818252531313232333310101515101019191616181832322323252534343131均值均值20.920.922.122.124.424.426.126.127.327.329.229.230.330.331.931.9333333.633.66-10每周博彩支出和个人可支配收入散点图每周博彩支出和个人可支配收入散点图6-11n例例6.1：一个假想的社区有一个假想的社

9、区有100户家庭组成，要户家庭组成，要研究该社区每月研究该社区每月家庭消费支出家庭消费支出Y与每月与每月家庭可家庭可支配收入支配收入X的关系。的关系。即如果知道了家庭的月收即如果知道了家庭的月收入，能否预测该社区家庭的平均月消费支出水入，能否预测该社区家庭的平均月消费支出水平。平。为达到此目的，将该为达到此目的，将该100户家庭划分为组户家庭划分为组内收入差不多的内收入差不多的10组，以分析每一收入组的家组，以分析每一收入组的家庭消费支出庭消费支出。6-12某社区家庭每月收入与消费支出统计表某社区家庭每月收入与消费支出统计表每月家庭可支配收入每月家庭可支配收入X X（元）（元）80011001

10、4001700200023002600290032003500每月每月家庭家庭消费消费支出支出Y Y（元）（元）5616388691023125414081650196920902299594748913110013091452173819912134232162781492411441364155117492046217825306388259791155139715951804206822662629847101212101408165018482101235428609351045124314741672188121892486287196810781254149616831925223

11、325521122129814961716196922442585115513311562174920132299264011881364157317712035231012101408160618042101143016501870211214851716194722002002合计合计242057751149516445193052387025025214502128515510平均平均605825104512651485170519252145236525856-13n由于不确定因素的影响，对同一收入水平由于不确定因素的影响，对同一收入水平X，不同家庭的消费支出不完全相同；不同家庭的消费

12、支出不完全相同；n但由于调查的完备性，给定收入水平但由于调查的完备性，给定收入水平X的消的消费支出费支出Y的分布是确定的，即以的分布是确定的，即以X的给定值的给定值为条件的为条件的Y的的条件分布（Conditional distribution）是已知的，例如：）是已知的，例如：P(Y=561|X=800）=1/4。6-14n因此，给定收入因此，给定收入X的值的值Xi，可得消费支出，可得消费支出Y的的条件均值条件均值（conditional mean）或）或条件期望条件期望（conditional expectation）：）：E(Y|X=Xi)。n该例中：该例中：E(Y|X=800)=605

13、n描出散点图发现：随着收入的增加，消费描出散点图发现：随着收入的增加，消费“平均地说”也在增加，且也在增加，且Y的条件均值均的条件均值均落在一根正斜率的直线上。这条直线称为落在一根正斜率的直线上。这条直线称为总总体回归线体回归线。6-1505001000150020002500300035005001000150020002500300035004000每月可支配收入X（元）每月消费支出Y（元）6-16n在给定解释变量在给定解释变量Xi条件下被解释变量条件下被解释变量Yi的期望的期望轨迹称为轨迹称为总体回归线总体回归线（population regression line），或更一般地称为），

14、或更一般地称为总体回总体回归曲线归曲线（population regression curve）。）。)()|(iiXfXYE称为（双变量）称为（双变量）总体回归函数总体回归函数（population regression function,PRF）。相应的函数：相应的函数：6-17n含义含义：回归函数（回归函数（PRF）说明被解释变量）说明被解释变量Y的的平均状态（总体条件期望）随解释变量平均状态（总体条件期望）随解释变量X变化变化的规律。的规律。函数形式函数形式：可以是线性或非线性的。可以是线性或非线性的。例例6.1中，中，将居民消费支出看成是其可支配收将居民消费支出看成是其可支配收入的线

15、性函数时入的线性函数时:为一为一线性函数线性函数。其中，其中，b b0 0，b b1 1是未知参数，称为是未知参数，称为回归系数回归系数（regression coefficients）。）。01|iiE YXBB X 6-18三、随机误差项三、随机误差项n总体回归函数说明在给定的收入水平总体回归函数说明在给定的收入水平Xi下，该下，该社区家庭平均的消费支出水平。社区家庭平均的消费支出水平。n但对某一个别的家庭，其消费支出可能与该平但对某一个别的家庭，其消费支出可能与该平均水平有偏差。均水平有偏差。n称为观察值围绕它的期望值的称为观察值围绕它的期望值的离差离差（deviation），是一个不可

16、观测的随机变量，是一个不可观测的随机变量，又称为又称为随机误差项随机误差项（stochastic error）或或随机随机扰动项扰动项（stochastic disturbance）。iiiXYEYu|6-19n例例6.1中，给定收入水平中，给定收入水平Xi,个别家庭的支个别家庭的支出可表示为两部分之和：出可表示为两部分之和：（1）该收入水平下所有家庭的平均消费支出）该收入水平下所有家庭的平均消费支出E(Y|Xi)，称为，称为系统性（系统性（systematic）或或确定确定性（性（deterministic)部分；部分；（2）其他）其他随机随机或或非确定性（非确定性（nonsystemati

17、c)部分部分 ui。01|iiiiiYE Y XuBB Xu6-20n称为称为总体回归函数（总体回归函数（PRF）的随机设定的随机设定形式。表明被解释变量除了受解释变量形式。表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机的系统性影响外，还受其他因素的随机性影响。由于方程中引入了随机项，成性影响。由于方程中引入了随机项，成为计量经济学模型，因此也称为为计量经济学模型，因此也称为总体回总体回归模型归模型。6-21n随机误差项主要包括下列因素：随机误差项主要包括下列因素：在解释变量中被忽略的因素的影响；在解释变量中被忽略的因素的影响；变量观测值的观测误差的影响；变量观测值的观测误差的

18、影响；模型关系的设定误差的影响；模型关系的设定误差的影响；其他随机因素的影响。其他随机因素的影响。n产生并设计随机误差项的主要原因：产生并设计随机误差项的主要原因：理论的含糊性；理论的含糊性；数据的欠缺；数据的欠缺；节省原则节省原则“奥卡姆剃刀原则奥卡姆剃刀原则”。6-22四、样本回归函数（四、样本回归函数（SRF）n问题：问题：能从一次抽样中获得总体的近似的信息能从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似吗？如果可以，如何从抽样中获得总体的近似信息？信息？n例例6.2：在例在例6.1的总体中有如下一个样本，能的总体中有如下一个样本，能否从该样本估计总体回归函数否

19、从该样本估计总体回归函数PRF？回答：能回答：能表：家庭消费支出与可支配收入的一个随机样本表：家庭消费支出与可支配收入的一个随机样本Y800110014001700200023002600290032003500X594638112211551408159519692078258525306-23 该样本的该样本的散点图散点图（scatter diagram)：n 画一条直线以尽好地拟合该散点图，由于样本画一条直线以尽好地拟合该散点图，由于样本取自总体，可以该直线近似地代表总体回归线。取自总体，可以该直线近似地代表总体回归线。该直线称为该直线称为样本回归线（sample regression

20、lines）。6-24n 记样本回归线的函数记样本回归线的函数形式为：形式为：称为称为样本回归函数样本回归函数（sample regression function，SRF）。01iiiYfXbb X6-25 注意：注意：这里将这里将样本回归线样本回归线看成看成总体回归线总体回归线的近似的近似替代替代01iiYbb X则则:01|iiiiiYE Y XuBB Xu 为为E(Y|Xi)的估计量的估计量bi为为Bi的估计量，的估计量，i=0,1iY6-26 样本回归函数的随机形式样本回归函数的随机形式/样本回归模型：样本回归模型：同样地，样本回归函数也有如下的随机形式：同样地，样本回归函数也有如下

21、的随机形式：01iiiiiYYubb Xe 式中，式中，ei 称为样本残差（或剩余项，称为样本残差（或剩余项，Residual），代表了其他影响），代表了其他影响Yi的随机因素的集合，的随机因素的集合，可看成是可看成是ui的估计量的估计量 ui。由于方程中引入了随机项，成为计量经济模由于方程中引入了随机项，成为计量经济模型，因此也称为型，因此也称为样本回归模型样本回归模型（sample regression model）。）。6-27回归分析的主要目的：根据样本回归函数：根据样本回归函数SRF，估，估计总体回归函数计总体回归函数PRF。即，根据即，根据 估计估计01iiiiiYYebb Xe

22、01|iiiiiYE Y XuBB XuuieiiYE(Y|Xi)011iYbb X 011|iE Y XBB X YiYXiX总体回归线和样本回归线的关系6-28这就要求：这就要求：设计一设计一“方法方法”构造构造SRF，以使，以使SRF尽可能尽可能“接接近近”PRF，或者说使，或者说使bi(i=0,1)尽可能接近尽可能接近Bi(i=0,1)注意：注意：这里这里PRF可能永远无法知道。可能永远无法知道。6-29五、五、“线性线性”回归的特殊含义回归的特殊含义n变量线性变量线性线性的含义：应变量的条件均值是自变量的线线性的含义：应变量的条件均值是自变量的线性函数性函数函数函数Y=f(X)称为称

23、为X线性的，如果满足以下几个线性的，如果满足以下几个条件：条件：nX仅以一次方的形式出现；仅以一次方的形式出现；n不出现不出现X乘或除以其他变量的形式（如乘或除以其他变量的形式（如XZ，X/Z，Z为另一变量）。为另一变量）。6-30n参数线性参数线性应变量的条件均值是参数应变量的条件均值是参数B的线性函数，而变的线性函数，而变量之间并不一定是线性的。量之间并不一定是线性的。如如E(Y)=B1+B2Xi2,E(Y)=B1+B2/Xi均称为参数线均称为参数线性。性。本书主要关注参数线性模型，即后文提到的线本书主要关注参数线性模型，即后文提到的线性回归是指参数线性的回归。性回归是指参数线性的回归。6

24、-31从双变量回归到多元线性回归从双变量回归到多元线性回归n多元线性回归：回归方程中不止一个的自多元线性回归：回归方程中不止一个的自变量或解释变量。变量或解释变量。对于博彩的例子扩展，博彩支出的均值是收入、对于博彩的例子扩展，博彩支出的均值是收入、财富和年龄等的线性函数，表示如下：财富和年龄等的线性函数，表示如下：E(Y|X1i,X2i,X3i)=E(Y)=B0+B1X1i+B2X2i+B3X3i个体博彩支出函数为：个体博彩支出函数为：Yi=B0+B1X1i+B2X2i+B3X3i+ui=E(Y)+ui6-32说说 明：明：n单方程计量经济学模型分为两大类：单方程计量经济学模型分为两大类：线性

25、模型线性模型和和非线性模型非线性模型线性模型中，变量之间的关系呈线性关系线性模型中，变量之间的关系呈线性关系非线性模型中，变量之间的关系呈非线性关系非线性模型中，变量之间的关系呈非线性关系n一元线性回归模型一元线性回归模型：只有一个解释变量：只有一个解释变量i=1,2,NY为被解释变量，为被解释变量，X为解释变量，为解释变量，B0与与B1为为待估待估参数参数，u为为随机干扰项随机干扰项01iiiYBB Xu 六、参数估计六、参数估计OLS6-33n回归分析的主要目的回归分析的主要目的是要通过样本回归函数是要通过样本回归函数（模型）（模型）SRF尽可能准确地估计总体回归函数尽可能准确地估计总体回

26、归函数（模型）（模型）PRF。n估计方法估计方法有多种，其中最广泛使用的是有多种，其中最广泛使用的是普通最普通最小二乘法小二乘法（ordinary least squares,OLS）。）。n为保证参数估计量具有良好的性质，通常对模为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。型提出若干基本假设。n实际这些假设与所采用的估计方法紧密相关。实际这些假设与所采用的估计方法紧密相关。6-34n最小二乘原理：最小二乘原理：对于双变量的对于双变量的PRF，i=1,2,N由于由于PRF不能直接观察到，故用不能直接观察到，故用SRF来估计：来估计：01iiiYBB Xu 01iiiiiYbb

27、XeYe 6-35参数的普通最小二乘估计（参数的普通最小二乘估计（OLSOLS）给定一组样本观测值（给定一组样本观测值（Xi,Yi）（）（i=1,2,n）要）要求样本回归函数尽可能好地拟合这组值求样本回归函数尽可能好地拟合这组值.普通最小二乘法普通最小二乘法（Ordinary least squares,OLS）给出的判断标准是：）给出的判断标准是：二者之差的平方和二者之差的平方和最小。最小。即在给定样本观测值之下，选择出即在给定样本观测值之下，选择出b0,b1 ，使，使Yi与与 之差的平方和为最小。之差的平方和为最小。22201111nnniiiiiiiQeYYYbb X iY6-36方程组

28、（方程组（*）称为）称为正规方程组正规方程组（normal equations）。根据微分运算，可推得用于估计根据微分运算，可推得用于估计b0,b1的下列的下列方程组：方程组：01010 *0iiiiibb XYbb XYX 01201iiiiiiYnbbXX YbXbX 得：得：2022122iiiiiiiiiiiiiXYXX YbnXXnX YXYbnXX XbY16-37记22221)(iiiiXnXXXxiiiiiiiiYXnYXYYXXyx1)(上述参数估计量可以写成：上述参数估计量可以写成：称为称为OLS估计量的估计量的离差形式离差形式（deviation form）。）。由于参数

29、的估计结果是通过最小二乘法得到由于参数的估计结果是通过最小二乘法得到 的，故称为的，故称为普通普通最小二乘估计量最小二乘估计量（ordinary least squares estimators），有时也简记为，有时也简记为OLSOLS估计量估计量。1201iiix ybxbYb X 6-38顺便指出顺便指出：上式也称为样本回归函数的上式也称为样本回归函数的离差形式离差形式。说明说明：在计量经济学中，常常以在计量经济学中，常常以小写字母小写字母表示对均表示对均值的值的离差离差。010111 iiiiiyYYbb Xbb XebXXb x 6-39例例：在上述家庭可支配收入：在上述家庭可支配收入

30、-消费支出例中，对消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过于所抽出的一组样本数，参数估计的计算可通过下表进行。下表进行。表表 参数估计的计算表参数估计的计算表 iX iY ix iy iiyx 2ix 2iy 2iX 2iY 1 800 594-1350-973 1314090 1822500 947508 640000 352836 2 1100 638-1050-929 975870 1102500 863784 1210000 407044 3 1400 1122-750-445 334050 562500 198381 1960000 1258884 4 1700 1

31、155-450-412 185580 202500 170074 2890000 1334025 5 2000 1408-150-159 23910 22500 25408 4000000 1982464 6 2300 1595 150 28 4140 22500 762 5290000 2544025 7 2600 1969 450 402 180720 202500 161283 6760000 3876961 8 2900 2078 750 511 382950 562500 260712 8410000 4318084 9 3200 2585 1050 1018 1068480 110

32、2500 1035510 10240000 6682225 10 3500 2530 1350 963 1299510 1822500 926599 12250000 6400900 求和 21500 15674 5769300 7425000 4590020 53650000 29157448 平均 2150 1567 6-40因此，由该样本估计的回归方程为：因此，由该样本估计的回归方程为：iiXY777.0172.103120157693000.777742500015670.777 2150103.172iiix ybxbYb X 6-41OLSOLS估计量的性质（估计量的性质（P107

33、P107）n用用OLS法得出的样本回归线经过样本均值点，即：法得出的样本回归线经过样本均值点，即：n残差的均值总为残差的均值总为0，即：，即：该性质用于检验计算的正确性该性质用于检验计算的正确性n残差与解释变量的积之和为残差与解释变量的积之和为0，即：，即：说明两个变量不相关说明两个变量不相关n对残差与被解释变量的积求和，其值也为对残差与被解释变量的积求和，其值也为0，即：，即：01Ybb X 0ieen 0iie X 0iieY 6-42七、案例分析七、案例分析n博彩的例子博彩的例子P107n受教育年限与平均小时工资的例子受教育年限与平均小时工资的例子P108n奥肯定律：实际产出的增长率与失业率的奥肯定律：实际产出的增长率与失业率的变动率之间的关系变动率之间的关系P109n股票价格与利率的关系股票价格与利率的关系P109n美国中等房价与贷款利率之间的关系美国中等房价与贷款利率之间的关系P110n古董钟与拍卖价格古董钟与拍卖价格P1116-43本章小结本章小结回归分析的思想回归分析的思想nPRF的概念的概念n随机误差项的一些性质及作用随机误差项的一些性质及作用nSRF的概念的概念nOLS方法介绍方法介绍6-44第六章作业第六章作业nP115 6.12nP120 6.26