线性回归模型y=bxae增加了随机误差项e课件.ppt

1、其初步应用其初步应用回归分析的基本思想及回归分析的基本思想及1.3一、复习一、复习 问题问题1：正方形的面积：正方形的面积y与正方形的边长与正方形的边长x之间之间 的的函数关系函数关系是是y = x2确定性关系确定性关系问题问题2：某水田水稻产量：某水田水稻产量y与施肥量与施肥量x之间是否之间是否 有一个确定性的关系？有一个确定性的关系？例如：在例如：在 7 块并排、形状大小相同的试验田上块并排、形状大小相同的试验田上 进行施肥量对水稻产量影响的试验，得进行施肥量对水稻产量影响的试验，得 到如下所示的一组数据：到如下所示的一组数据：施化肥量施化肥量x 15 20 25 30 35 40 45水

2、稻产量水稻产量y 330 345 365 405 445 450 4551、变量之间的两种关系、变量之间的两种关系 自变量取值一定时，因变量的取值带有一定自变量取值一定时，因变量的取值带有一定随机性的两个变量之间的关系叫做随机性的两个变量之间的关系叫做相关关系相关关系。 1）：相关关系是一种不确定性关系；）：相关关系是一种不确定性关系；注注对具有相关关系的两个变量进行统计对具有相关关系的两个变量进行统计分析的方法叫分析的方法叫回归分析回归分析。2）：）：2、求回归直线方程的步骤：、求回归直线方程的步骤：1111(1),nniiiixxyynn求211(2),.nniiiiixx y求（3）代入

3、公式）代入公式1122211()(),(),.(1)nniiiiiinniiiixx yyxnxyybxxxnxa y bx （4）写出直线方程为）写出直线方程为y=bx+a,即为所求的回归直线方程。即为所求的回归直线方程。0 1122,:nnx yxyxy对于一组具有线性相关关系的数据我们知道其回归方程的截距和斜率的最小二乘估计公式分别为 1xbya 2,xxyyxxbn1i2in1iii?.y, x.yy,xn1xn1iin1ii公公式式吗吗你你能能推推导导出出这这两两个个计计算算称称为为其其中中样样本本点点的的中中心心.心心回回归归直直线线过过样样本本点点的的中中., xy, Qba ,

4、n1i2ii的值取最小值时分别是使和斜率截距从已经学过的知识知道设y = x+ + e2211()=Q( , ).nniiiiiiyyyx 设., xy, Qba ,n1i2ii的值取最小值时分别是使和斜率截距从已经学过的知识知道 n1i2iixyxyxy, Q由于2n1iii2iixyxyxyxy2xyxy,xynxyxyxy2xyxy2n1iiin1i2iixyxyxyn1iii注意到n1iiixyxyxyn1in1iiixynxyxy, 0 xynxnynxy2n1i2iixynxyxy, Q所以2n1i2iin1in1ii2i2xynyyyyxx2xx2n1i2in1iiin1i2i2

5、xxyyxxxxxyn.yyxxyyxxn1i2in1i2i2n1iii即有均为当且仅当前两项的值取最小值因此要使数而前两项为非负无关后两项和在上式中, 0,Q, ,.xy,xxyyxxn1i2in1iii.公式这正是我们所要推导的.,基基本本思思想想及及其其应应用用进进一一步步学学习习回回归归分分析析的的下下面面我我们们通通过过案案例例二、举例二、举例.13,81所所示示重重数数据据如如表表其其身身高高和和体体名名女女大大学学生生从从某某大大学学中中随随机机选选取取例例5943616454505748kg/170155165175170157165165cm/87654321体体重重身身高高

6、编编号号.cm172,的的女女大大学学生生的的体体重重并并预预报报一一名名身身高高为为归归方方程程身身高高预预报报她她的的体体重重的的回回求求根根据据一一名名女女大大学学生生的的: ) 11.3(.y,x,图图作散点体重为因变量真实取身高为自变量因此选据身高预报体重由于问题中要求根解11.3图图xy.,11.3画它们之间的关系刻性回归方程以用线因此可线性相关关系较好的重有比高和体身样本点呈条状分布中可以看出从图 .712.85x 849.0y .849.0b,712.85a ,21于是得到回归方程可以得到和根据探究中的公式.kg316.60712.85172849.0y,cm172,预报其体重

7、为由回归方程可以的女大学生对身高为所以11.3图图xy0.849,1,0.849,.bxy是斜率的估计值 说明身高 每增加个单位时 体重 就增加个单位 这表明体重与身高具有正的线性相关关系三、强弱分析三、强弱分析.yyxxyyxxrn1in1i2i2in1iii（一）、相关系数法（一）、相关系数法0,;(2)0,.(3)1,;0,.0.75.rrrr(1)当时 表明两个变量正相关当时 表明两个变量负相关的绝对值越接近 相关性越强 越接近于 时线性相关关系弱（4） r 大于时有很强的线性相关关系.,798.0r,有意义的我们建立的回归模型是从而也表明关关系与身高有很强的线性相这表明体重可以计算出

8、在本例中（二）、残差法（二）、残差法函数模型与回归模型之间的差别函数模型与回归模型之间的差别函数模型：abxy线性回归模型：eabxy当随机误差恒等于当随机误差恒等于0时，时，线性回归模型就变为函数模线性回归模型就变为函数模型型函数模型与回归模型之间的差别函数模型与回归模型之间的差别函数模型：abxy回归模型：eabxy 线性回归模型线性回归模型y=bx+a+e增加了随机误差项增加了随机误差项e，因变量，因变量y的值由自变量的值由自变量x和和随机误差项随机误差项e共同确定，即共同确定，即自变量自变量x只能解析部分只能解析部分y的变化的变化。 在统计中，我们也把自变量在统计中，我们也把自变量x称

9、为解析变量，因变量称为解析变量，因变量y称为预报变量。称为预报变量。我们可以用下面的我们可以用下面的线性回归模型线性回归模型来表示：来表示：y=bx+a+e， (3)其中其中a和和b为模型的未知参数，为模型的未知参数，e称为随机误差称为随机误差。y=bx+a+e，E(e)=0,D(e)= (4) 2.思考思考:产生随机误差项产生随机误差项e的原因是什么？的原因是什么？随机误差随机误差e e的来源的来源( (可以推广到一般）：可以推广到一般）：1、用线性回归模型近似真实模型所引起的误差；用线性回归模型近似真实模型所引起的误差；2、忽略了其它因素的影响：影响身高忽略了其它因素的影响：影响身高 y

10、的因素不只是体重的因素不只是体重 x，可能还包括遗传，可能还包括遗传基因、饮食习惯、生长环境等因素；基因、饮食习惯、生长环境等因素；3、身高、身高 y 的观测误差。的观测误差。 以上三项误差越小，说明我们的回归模型的拟合效果越好。以上三项误差越小，说明我们的回归模型的拟合效果越好。 2,.,0,0.:abeybxaeE eD e这里 和 为模型的未知参数 是 与y之间的误差通常 为随机变量 称为它的均值方差这样线性回归模型的完整表达式为随机误差随机误差 .eD, 0eE,eabxy2 4 24,5.eybxay在线性回归模型中 随机误差 的方差越小通过回归直线预报真实值 的精度越高随机误差是引

11、起预报在回归模型中，在回归模型中，x叫解释变量，叫解释变量， y叫预报变量，叫预报变量， e叫随机误差。叫随机误差。,ey在线性回归模型中 是用y预报真实值 的误差 它是一个不可观测的量. , a xby ,21.2归方程可以建立回和公式根据截距和斜率的估计样本的估计值来估计解决问题的途径是通过 .ey ye , yye.y5y 的估计量是所以由于随机误差的估计值中是因此 1122,(1,2, ).nniiiiix yxyxyeyyybxa in对于样本点而言(1)随机误差,1,2,iiiiieyyybxain（2）残差 （随机误差的估计值）（）下面用残差进行分析下面用残差进行分析1、残差图法

12、、残差图法382.0883.2627.6137.1618.4419.2627.2373.6e 5943616454505748kg/170155165175170157165165cm/87654321残差残差体重体重身高身高编号编号编号编号残差残差31.3图图.31.3.,.残残差差图图坐坐标标的的样样本本编编号号为为横横是是以以图图这这样样作作出出的的图图形形为为等等或或体体重重估估计计值值高高数数据据或或身身可可选选为为样样本本编编号号横横坐坐标标纵纵坐坐标标为为残残差差作作图图时时分分析析残残差差特特性性我我们们可可以以利利用用图图形形来来残残差差图图编号编号残差残差31.3图图3.1

13、3,16,.,;,.(1)从图中可以看出 第 个样本点和第个样本点的残差比较大 需要确认在采集这两个样本点的过程中是否有人为的错误如果数据采集有错误 就予以纠正 然后再重新利用线性回归模型拟合数据 如果数据采集没有错误 则需要寻找其他的原因编号编号残差残差31.3图图,.（2）残差点比较均匀地落在水平的带状区域的宽度越窄说明模型拟合精确度越高 回归方程的预报精确度越高2、残差平方和、残差平方和残差平方和越小模拟效果越好残差平方和越小模拟效果越好（三）相关指数（三）相关指数 法法2R221211.niiiniiyyRyy （1）公式）公式我们可以用我们可以用相关指数相关指数R2来刻画回归的效果，

14、其计算公式是来刻画回归的效果，其计算公式是22121()11()niiiniiyyRyy残差平方和。总偏差平方和（2）的关系和rR2的平方等于 rR2222,1,(1,).RRR（3）取值越大残差平方和越小 也就是越 接近于表示回归的效果越好 因为越接近于 表示解释变量和预报变量的线性相关性越强解释解释预报预报1.%64, %64,64.0R,12高引起的高引起的是由身是由身女大学生体重差异有女大学生体重差异有或者说或者说体重变化体重变化的的女大学生身高解释了女大学生身高解释了表明表明中中在例在例四、小结四、小结:,需要注意下列问题用身高预报体重时.,.,.1系木的高与直径之间的关描述北方干旱

15、地区的树方程的高与直径之间的回归在南方多雨地区的树木不能用生长同样之间的关系女运动员的身高和体重描述和体重之间的回归方程不能用女大学生的身高例如所研究的样本的总体回归方程只适用于我们.,8020,.2之间的关系描述现在的身高和体重方程建立的回归年代的身高体重数据所世纪能用不例如一般都有时间性我们所建立的回归方程.),ycm70 x,cm170,cm155x,(,.3显然不合适值时的程计算而用这个方的样本的取值范围为解释变量即在回归方程中重之间的关系就不恰当幼儿时期的身高和体那么用它来描述一个人立的建大学生身高和体重数据我们的回归方程是由女例如归方程的适用范围样本取值范围会影响回.,.4值的平均

16、值它是预报变量的可能取事实上精确值的的预报值就是预报变量不能期望回归方程得到用身高预报体重时，需要注意下列问题：用身高预报体重时，需要注意下列问题：1、回归方程只适用于我们所研究的样本的总体；、回归方程只适用于我们所研究的样本的总体；2、我们所建立的回归方程一般都有时间性；、我们所建立的回归方程一般都有时间性；3、样本采集的范围会影响回归方程的适用范围；、样本采集的范围会影响回归方程的适用范围；4、不能期望回归方程得到的预报值就是预报变量的精确值。、不能期望回归方程得到的预报值就是预报变量的精确值。 事实上，它是预报变量的可能取值的平均值。事实上，它是预报变量的可能取值的平均值。这些问题也使用

17、于其他问题。这些问题也使用于其他问题。涉及到统计的一些思想：涉及到统计的一些思想：模型适用的总体；模型适用的总体；模型的时间性；模型的时间性；样本的取值范围对模型的影响；样本的取值范围对模型的影响；模型预报结果的正确理解。模型预报结果的正确理解。小结小结:,骤为骤为建立回归模型的基本步建立回归模型的基本步一般地一般地 ;,1量是预报变量量是预报变量哪个变哪个变量量明确哪个变量是解释变明确哪个变量是解释变确定研究对象确定研究对象 ;,2如是否存在线性关系等如是否存在线性关系等观察它们之间的关系观察它们之间的关系散点图散点图释主变量和预报变量的释主变量和预报变量的画出确定好的解画出确定好的解 );abxy,(3则选用线性回归方程则选用线性回归方程线性关系线性关系如我们观察到数据呈如我们观察到数据呈型型由经验确定回归方程类由经验确定回归方程类 );(4乘法乘法如最小二如最小二程中的参数程中的参数按一定规则估计回归方按一定规则估计回归方 5(,),.分析残差图是否有异常 个别数据对应残差过大 或残差呈现不随机的规律性等等 若存在异常 则检查数据是否有误 或模型是否合适等