课件第2部分一元线回归.ppt

1、第2章 一元线性回归2.1 一元线性回归模型2.2 参数 的估计2.3 最小二乘估计的性质2.4 回归方程的显著性检验2.5 残差分析2.6 回归系数的区间估计2.7 预测和控制2.8 本章小结与评注01,2.1 一元线性回归模型例例2.1 表2.1列出了15起火灾事故的损失及火灾发生地与最近的消防站的距离。表表2.1火灾损失表火灾损失表2.1 一元线性回归模型例例2.2 全国人均消费金额记作y(元);人均国民收入记为x(元)表表2.2 人均国民收入表人均国民收入表2.1 一元线性回归模型2.1 一元线性回归模型一元线性回归模型2)var(0)(E此时回归方程为01yx01(/)E y xx2

2、.1 一元线性回归模型样本模型回归方程样本观测值(x1，y1),(x2，y2),(xn，yn),n,iEii21 )var(0)(2经验回归方程 xy1001,1,2,iiiyxin201(),var()iiiE yxy2.2 参数0、1的估计一、普通最小二乘估计 (Ordinary Least Square Estimation,简记为OLSE)niiiniiixyxyQ1210,121010)(min )(),(10最小二乘法就是寻找参数0、1的估计值使离差平方和达极小iixy10iiiyye称为yi的回归拟合值,简称回归值或拟合值 称为yi的残差 2.2 参数0、1的估计x xy y(x

3、 xn n,y yn n)(x x1 1,y y1 1)(x x2 2,y y2 2)(x xi i,y yi i)e ei i=y yi i-y yi ixy10 xy10 x xy y(x xn n,y yn n)(x x1 1,y y1 1)(x x2 2,y y2 2)(x xi i,y yi i)e ei i=y yi i-y yi ixy10 xy10 x xy y(x xn n,y yn n)(x x1 1,y y1 1)(x x2 2,y y2 2)(x xi i,y yi i)e ei i=y yi i-y yi ix xy y(x xn n,y yn n)(x x1 1,y

4、 y1 1)(x x2 2,y y2 2)(x xi i,y yi i)e ei i=y yi i-y yi i(x x2 2,y y2 2)(x xi i,y yi i)e ei i=y yi i-y yi ie ei i=y yi i-y yi ixy10 xy102.2 参数0、1的估计0)(20)(2110111110000niiiiniiixxyQxyQ经整理后,得正规方程组nininiiiiiniiniiyxxxyxn1111201110)()()(0011niiiniiexe2.2 参数0、1的估计211110)()(niiiniixxyyxxxy得OLSE 为niniiixxx

5、nxxxL11222)()(niiiniiixyyxnyxyyxxL11)(xxxyLLxy/110记2.2 参数 的估计413.26152.396,28.3152.49yx784.34)28.3(1516.196 )(2122niixxxnxL114.171536.129965.1470 1niiixyyxnyxL919.4784.34/114.171/279.1028.3919.4413.26110 xxxyLLxyxy919.4279.10续例2.1回归方程回归方程01,2.2 参数 的估计二、最大似然估计二、最大似然估计 连续型：是样本的联合密度函数：离散型：是样本的联合概率函数。似然

6、函数并不局限于独立同分布的样本。似然函数在假设iN(0,2)时,由（2.10）式知yi服从如下正态分布:),(210iixNy01,2.2 参数0、1的估计二、最大似然估计二、最大似然估计 y1,y2,yn的似然函数为：niiinniiixyyfL12102221210)(21exp)2()(),(对数似然函数为：niiixynL121022)(21)2ln(2ln与最小二乘原理完全相同 2.3 最小二乘估计的性质一、线性一、线性 是y1,y2,yn的线性函数：niiniiiniiniiiyxxxxxxyxx1121211)()()(10、其中用到 2.3 最小二乘估计的性质二、无偏性二、无偏

7、性 1110121121)()()()()(niinjjiniinjjixxxxxyExxxxE 0)(xxi)()(2xxxxxiii2.3 最小二乘估计的性质三、三、的方差的方差 njjniinjjixxyxxxx12212121)()var()()var(10、2220)()(1)var(xxxni210),cov(xxLx2.3 最小二乘估计的性质三、三、的方差的方差 10、)(1(,(2200 xxLxnN),(211xxLN在正态假设下,n),(i,j j ,ij,i),(,n,i)E(jii210cov2102GaussMarkov条件 2.4 回归方程的显著性检验 一、一、t

8、检验检验 原假设：H0：1=0对立假设：H1：10 ),(211xxLN由当原假设H0：1=0成立时有：),0(21xxLN2.4 回归方程的显著性检验 一、一、t 检验检验 构造t 统计量 121LxxLtxxniiiniiyynen121222121其中2.4 回归方程的显著性检验 二、用统计软件计算二、用统计软件计算 1例2.1 用Excel软件计算 什么是P 值?(P-value)P 值即显著性概率值 Significence Probability Value是当原假设为真时得到比目前的 样本更极端的样本的 概率，所谓极端就是与原假设相背离它是用此样本拒绝原假设所犯弃真错误的 真实概

9、率，被称为观察到的(或实测的)显著性水平双侧检验的P 值/2左侧检验的P 值右侧检验的P 值利用 P 值进行检验的决策准则若p-值 ,不能拒绝 H0若p-值 ,拒绝 H0双侧检验p-值=2单侧检验p-值2.4 回归方程的显著性检验 二、用统计软件计算二、用统计软件计算2.例2.1用SPSS软件计算Variables Entered/RemovedVariables Entered/Removedb bxa.EnterModel1VariablesEnteredVariablesRemovedMethodAll requested variables entered.a.Dependent Va

10、riable:yb.Model SummaryModel Summary.961a.923.9182.31635Model1RR SquareAdjustedR SquareStd.Error ofthe EstimatePredictors:(Constant),xa.Coefficientsa10.2781.4207.237.0004.919.393.96112.525.000(Constant)XModel1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable:Ya.

11、2.4 回归方程的显著性检验 二、用统计软件计算二、用统计软件计算ANOVAb841.7661841.766156.886.000a69.751135.365911.51714RegressionResidualTotalModel1Sum ofSquaresdfMeanSquareFSig.Predictors:(Constant),Xa.Dependent Variable:Yb.2.用SPSS软件计算2.4 回归方程的显著性检验 三、三、F检验检验平方和分解式 niiiniiniiyyyyyy121212)()()(SST=SSR+SSE构造F检验统计量)2/(1/nSSESSRF2.4

12、 回归方程的显著性检验 三、三、F检验检验一元线性回归方差分析表一元线性回归方差分析表方差来源自由度平方和均方F值P值回归残差总和1n-2n-1SSRSSESSTSSR/1SSE/（n-2）P(FF值)=P值)2/(1/nSSESSR2.4 回归方程的显著性检验 四、相关系数的显著性检验四、相关系数的显著性检验 )()()(12121niiniiniiiyyxxyyxxryyyyxxxyLLLLLxx12.4 回归方程的显著性检验 四、相关系数的显著性检验四、相关系数的显著性检验 2.4 回归方程的显著性检验 四、相关系数的显著性检验四、相关系数的显著性检验 附表附表1 相关系数相关系数=0的

13、临界值表的临界值表n-25%1%n-25%1%n-25%1%10.9971.000160.4680.590350.3250.41820.9500.990170.4560.575400.3040.39330.8780.959180.4440.561450.2880.37240.8110.947190.4330.549500.2730.35450.7540.874200.4230.537600.2500.32560.7070.834210.4130.526700.2320.30270.6660.798220.4040.515800.2170.28380.6320.765230.3960.50590

14、0.2050.26790.6020.735240.3880.4961000.1950.254100.5760.708250.3810.4871250.1740.228110.5530.684260.3740.4781500.1590.208120.5320.661270.3670.4702000.1380.181130.5140.641280.3610.4633000.1130.148140.4970.623290.3550.4564000.0980.128150.4820.606300.3490.44910000.0620.081Correlations1.000.961.0001515.9

15、611.000.000.1515Pearson CorrelationSig.(2-tailed)NPearson CorrelationSig.(2-tailed)NYXYX2.4 回归方程的显著性检验 四、相关系数的显著性检验四、相关系数的显著性检验 212rrnt用用SPSS软件做相关系数的显著性检验软件做相关系数的显著性检验 2.4 回归方程的显著性检验 四、相关系数的显著性检验四、相关系数的显著性检验 两变量间相关程度的强弱分为以下几个等级：两变量间相关程度的强弱分为以下几个等级：当当|r|0.8时，视为高度相关；时，视为高度相关；当当0.5|r|0.8时，视为中度相关；时，视为中度

16、相关；当当0.3|r|0.5时，视为低度相关；时，视为低度相关；当当|r|0.3时，表明两个变量之间的相关程度极弱，时，表明两个变量之间的相关程度极弱，在实际应用中可视为不相关。在实际应用中可视为不相关。2.4 回归方程的显著性检验 五、三种检验的关系五、三种检验的关系212rrnt121LxxLtxx)2/(1/nSSESSRFH0:=0H0:r=0H0:回归无效2.4 回归方程的显著性检验 六、样本决定系数六、样本决定系数 niiniiyyyySSTSSRr12122)()(222)(rLLLSSTSSRryyxxxy可以证明2.5 残差分析残差分析 一、残差概念与残差图一、残差概念与残差

17、图 iiiiixyyye10残差 误差项iiixy10 残差ei是误差项i的估计值。2.5 残差分析残差分析 一、残差概念与残差图一、残差概念与残差图 2.5 残差分析残差分析 一、残差概念与残差图一、残差概念与残差图 X76543210Unstandardized Residual43210-1-2-3-4图图 2.6 火灾损失数据残差图火灾损失数据残差图2.5 残差分析残差分析 二、残差的性质二、残差的性质 性质性质1 E(ei)=0 证明:0)()()()()(1010iiiiixExyEyEeE2.5 残差分析残差分析 二、残差的性质二、残差的性质 性质性质2222)1()(11)va

18、r(iixxiihLxxne其中其中xxiiiLxxnh2)(1称为杠杆值称为杠杆值 2.5 残差分析残差分析 二、残差的性质二、残差的性质 存在高杠杆率观测值的散点图存在高杠杆率观测值的散点图05101520250204060 xy2.5 残差分析残差分析 二、残差的性质二、残差的性质 性质性质3.残差满足约束条件:0011niiiniiexe2.5 残差分析残差分析 三、改进的残差三、改进的残差 标准化残差iieZRE 学生化残差iiiiheSRE12.6 回归系数的区间估计回归系数的区间估计 等价于),(211xxLN)2()(/11211ntLLtxxxx1)2()(2/11ntLPx

19、x1)(2/112/1xxxxLtLtP),(2/12/1xxxxLtLt1的的1-置信区间置信区间 2.7 预测和控制预测和控制 一、单值预测一、单值预测 0100 xy01000)()(xyEyE2.7 预测和控制预测和控制 二、区间预测二、区间预测找一个区间（找一个区间（T1,T2），使得），使得 1)(201TyTP需要首先求出其估计值需要首先求出其估计值0100 xy的分布 1因变量新值的区间预测因变量新值的区间预测以下计算以下计算的方差的方差0 y0100 xyniixxiyLxxxxnxxy10011)(1(2201200)(1()var()(1()var(xxniixxiLxx

20、nyLxxxxny从而得)(1(,(2200100 xxLxxnxNy1.因变量新值的区间预测因变量新值的区间预测二、区间预测二、区间预测记记于是有 xxLxxnh2000)(1),(2000100hxNy则20020000)var()var()var(hyyyy)1(,0(20000hNyy)2(10000nthyyt二、区间预测二、区间预测1.因变量新值的区间预测因变量新值的区间预测1)2(12/0000nthyyPy0的置信概率为1-的置信区间为 1)2(002/0hntyy0的置信度为95%的置信区间近似为 20y二、区间预测二、区间预测1.因变量新值的区间预测因变量新值的区间预测得E

21、(y0)的1-的置信区间为 E(y0)=0+1x0是常数)(1(,0()(22000 xxLxxnNyEy)2(002/0hnty二、区间预测二、区间预测1.因变量新值的区间预测因变量新值的区间预测 对例2.1的火灾损失数据，假设保险公司希望预测一个距最近的消防队x0=3.5公里的居民住宅失火的损失 点估计值50.275.3919.4278.100y95%区间估计 单个新值：（22.32，32.67）平均值E(y0)：（26.19，28.80）的95%的近似置信区间为 0 y)2,2(00yy=（27.50-22.316，27.50+22.316）=（22.87，32.13）二、区间预测二、区

22、间预测计算计算 给定y的预期范围(T1,T2),如何控制自变量x的值才能以1-的概率保证 1)(21TyTP用近似的预测区间来确定x。如果=0.05,则要求 212)(2)(TxyTxyxxy10)(把带入时，得当0110210122TxT时，得当0110110222TxT二、控制问题二、控制问题2.8 本章小结与评注本章小结与评注 一、一元线性回归模型从建模到应用的全过一、一元线性回归模型从建模到应用的全过程程例例2.2 全国人均消费金额记作y(元);人均国民收入记为x(元)表表2.2 人均国民收入表人均国民收入表2.8 本章小结与评注本章小结与评注 二、有关回归假设检验问题二、有关回归假设检验问题 1973年年Anscombe构造了四组数据构造了四组数据,这四组数据所建的这四组数据所建的回归方程是相同的回归方程是相同的,决定系数决定系数,F统计量也都相同统计量也都相同,且均通过显且均通过显著性检验。著性检验。2.8 本章小结与评注本章小结与评注 谢谢你的阅读v知识就是财富v丰富你的人生