1、8.2.2 一元线性回归模型参数的最小二乘估计一元线性回归模型参数的最小二乘估计(1)在一元线性回归模型中，表达式在一元线性回归模型中，表达式Y=bx+a+e刻画的是刻画的是变量变量Y与变量与变量x之之间的线性相关关系间的线性相关关系，其中参数，其中参数a和和b未知，需要根据成对样本数据进行未知，需要根据成对样本数据进行估计估计.由模型的建立过程可知，由模型的建立过程可知，参数参数a和和b刻画了变量刻画了变量Y与变量与变量x的线性的线性关系关系，因此通过成对样本数据估计这两个参数，相当于，因此通过成对样本数据估计这两个参数，相当于寻找一条适当寻找一条适当的直线的直线，使表示成对样本数据的这些，
2、使表示成对样本数据的这些散点在整体上与这条直线最接近散点在整体上与这条直线最接近.探究探究 利用散点图利用散点图8.2-1找出一条直线，使各散点在整体上与此直线尽找出一条直线，使各散点在整体上与此直线尽可能接近可能接近.在图中选择这样的两点在图中选择这样的两点画直线，使得直线两侧的点的个数画直线，使得直线两侧的点的个数基本相同，把这条直线作为所求直基本相同，把这条直线作为所求直线，如图线，如图(2)所示所示.采用测量的方法，先画采用测量的方法，先画出一条直线，测量出各点与它的距出一条直线，测量出各点与它的距离，然后移动直线，到达一个使距离，然后移动直线，到达一个使距离的和最小的位置离的和最小的
3、位置.然后测量出此然后测量出此时的斜率和截距，就可得到一时的斜率和截距，就可得到一 条条直线，如图直线，如图(1)所示所示.(1)方法一：方法一：(2)方法二：方法二：在散点图中多取几对点在散点图中多取几对点，确定出几条直线的方程，再分别，确定出几条直线的方程，再分别求出这些直线的斜率、截距的平均求出这些直线的斜率、截距的平均数，将这两个平均数作为所求直线数，将这两个平均数作为所求直线的斜率和截距，如图的斜率和截距，如图(3)所示所示.(2)方法三：方法三：上面这些方法虽然有一定的道理，但比较难操作，我们需要另辟蹊径上面这些方法虽然有一定的道理，但比较难操作，我们需要另辟蹊径.先进一步明确我们
4、面临的任务先进一步明确我们面临的任务:从成对样本数据出发，用数学的方法刻从成对样本数据出发，用数学的方法刻画画“从整体上看，各散点与直线最接近从整体上看，各散点与直线最接近”.通常，我们会想到利用通常，我们会想到利用点到直线点到直线y=bx+a的的“距离距离”来刻画来刻画散点与该直线散点与该直线的接近程度的接近程度，然后用，然后用所有所有“距离距离”之和之和刻画所有刻画所有样本观测数据与该直线的接样本观测数据与该直线的接近程度近程度.设满足一元线性回归模型的两个变量的设满足一元线性回归模型的两个变量的n对样本数据为对样本数据为(x1,y1),(x2,y2),(xn,yn),由由yi=bxi+a
5、+ei(i=1,2,n)，得，得|()|.iiiybxae 显然显然|ei|越小越小，表示，表示点点(xi,yi)与点与点(xi,bxi+a)的的“距离距离”越小越小，即，即样本数据点离直样本数据点离直线线y=bx+a的竖直距离越小的竖直距离越小，如右图所示，如右图所示.特别地，当特别地，当ei=0时，表示点时，表示点(xi,yi)在这条在这条直线上直线上.因此，可以用这因此，可以用这n个竖直距离之和个竖直距离之和 来刻画各样本观测数据与来刻画各样本观测数据与直线直线y=bx+a的的“整体接近程度整体接近程度”.1|()|niiiybxa 在实际应用中，因为绝对值使得计算不方便，所以人们通常用
6、各散点到直线在实际应用中，因为绝对值使得计算不方便，所以人们通常用各散点到直线的竖直距离的平方之和的竖直距离的平方之和21()niiiQybxa 来刻画来刻画“整体接近程度整体接近程度”.2211|().nniiiiiiiiybxaeQybxae由由于于|,|,故故有有所以我们可以取使所以我们可以取使Q达到最小达到最小的的a和和b的值作为的值作为截距和斜率的估计值截距和斜率的估计值.1111nniiiixxyynn记记，,则则2211()()()()nniiiiiiQ a bybxaybxybxybxa,21()()()niiiyyb xxybxa 2211()()2()()()()nniii
7、iiiyyb xxyyb xxybxan ybxa1()()()()()()0.niiiybxayyb xxybxanynyb nxnx 1()()()niiiyyb xxybxa 221()()()()niiiQ a byyb xxn ybxa ,221()()()()niiiQ a byyb xxn ybxa ,要使要使Q取到最小值，则取到最小值，则0.ybxaaybx ,即即21()()()niiiQ a byyb xx ,222111()2()()().nnniiiiiiibxxbxxyyyy 要使要使Q取得最小值取得最小值，当且仅当，当且仅当b的取值为的取值为121()().()ni
8、iiniixxyybxx 综上，当综上，当a,b的取值为的取值为121()()(2)()niiiniixxyybxxaybx ，时，时，Q达到最小达到最小.1122211()()()nniiiiiinniiiixxyyx ynx ybxxxnxaybx 经验回归方程与最小二乘估计：经验回归方程与最小二乘估计：我们将我们将 称为称为Y关于关于x的的经验回归方程经验回归方程，也称，也称经验回归函数经验回归函数或或经经验回归公式验回归公式，其图形称为，其图形称为经验回归直线经验回归直线.这种求经验回归方程的方法叫做这种求经验回归方程的方法叫做最小二乘法最小二乘法，利用公式，利用公式(2)求得的求得的
9、 叫做叫做b,a的的最小二乘估计最小二乘估计.这里的这里的“二乘二乘”是平方的意思是平方的意思.ybxa b a,编号编号1234567891011121314父亲身高父亲身高/cm174170173169182172180172168166182173164180儿子身高儿子身高/cm176176170170185176178174170168178172165182对于上表中的数据，利用公式对于上表中的数据，利用公式(2)可以计算出可以计算出 得到得到儿子身高儿子身高Y关于父亲身高关于父亲身高x的经验回归方程的经验回归方程为为 相应的相应的经经验回归直线验回归直线如下图所示如下图所示.0.
10、83928.957ba,，0.83928.957.yx0.83928.957.yx 商店名称商店名称ABCDE销售额销售额x/千万元千万元35679利润额利润额y/百万元百万元23345例例1 某连锁经营公司所属某连锁经营公司所属5个零售店某月的销售额和利润额资料如下表个零售店某月的销售额和利润额资料如下表:(1)画出销售额和利润额的散点图；画出销售额和利润额的散点图；(2)计算利润额计算利润额y对销售额对销售额x的经验回归直线方程的经验回归直线方程.解：解：(1)散点图如下散点图如下:所求经验回归方程为所求经验回归方程为解解1：(2)商店名称商店名称ABCDE销售额销售额x/千万元千万元35
11、679利润额利润额y/百万元百万元233451765xy ,1221niiiniix ynx ybxnxaybx 51112iiix y ,521200iix ,51522211751125 650.52005 65iiiiix yx ybxx ，0.4.aybx 0.50.4.yx 所求经验回归方程为所求经验回归方程为解解2：(2)商店名称商店名称ABCDE销售额销售额x/千万元千万元35679利润额利润额y/百万元百万元233451765xy ,121()()()niiiniixxyybxxaybx 51()()10iiixxyy ,521()20iixx ,51521()()100.52
12、0()iiiiixxyybxx ，0.4.aybx 0.50.4.yx x1234y1345变式变式 已知变量已知变量x，y有如下对应数据有如下对应数据:(1)作出散点图；作出散点图；(2)用最小二乘法求关于用最小二乘法求关于x,y的经验回归方程的经验回归方程.解：解：(1)散点图如下散点图如下:所求经验回归方程为所求经验回归方程为解：解：(2)51324xy,1221niiiniix ynx ybxnxaybx 4139iiix y ,42130iix ,4142215134394241.32530444iiiiix yx ybxx ，0.aybx 1.3.yx x1234y1345x123
13、456y021334练练1 已知已知x与与y之间的几组数据如下表：之间的几组数据如下表：则则y对对x的经验回归直线必过点的经验回归直线必过点_.7 13()26，()aybxx y 注注意意：由由可可知知,经经验验回回归归直直线线不不一一定定过过样样本本数数据据中中的的某某一一点点,但但一一定定过过点点,.父亲身高父亲身高x/cm174176176176178儿子身高儿子身高y/cm175175176177177C练练2 为了解儿子身高与其父亲身高的关系，随机抽取为了解儿子身高与其父亲身高的关系，随机抽取5对身高数据如下对身高数据如下:则则y对对x的经验回归直线方程为的经验回归直线方程为().
14、1A.1B.1C.88D.1762yxyxyxy176cm176cmxy 解解：由由题题意意得得,.176176)C经经验验回回归归直直线线过过点点(,经经验验证证可可得得答答案案为为.求经验回归方程的步骤：求经验回归方程的步骤：(1)x y计计算算平平均均数数,；1(2)niiiiixyx y 计计算算,的的积积,求求；21(3)niix 计计算算；4142214(4)4iiiiix yx ybbxx 将将结结果果代代入入公公式式,求求；(5)aybxa 用用,求求；(6).写写出出回回归归方方程程 思考思考1 已知儿子身高关于父亲身高已知儿子身高关于父亲身高x的经验回归方程为的经验回归方程
15、为 如果一位父亲的身高为如果一位父亲的身高为176cm，他儿子长大成人后的身，他儿子长大成人后的身高一定是高一定是177cm吗吗?为什么为什么?176177.xy当当时时,0.83928.957.yx显然不一定，因为还有其他影响儿子身高的因素，父亲身高不能完全决定儿显然不一定，因为还有其他影响儿子身高的因素，父亲身高不能完全决定儿子身高子身高.不过，我们可以作出推测，当父亲身高为不过，我们可以作出推测，当父亲身高为176cm时，儿子身高一般在时，儿子身高一般在177cm左右左右.实际上，如果把这所学校父亲身高为实际上，如果把这所学校父亲身高为176cm的所有儿子身高作为一个子总体的所有儿子身高
16、作为一个子总体，那么，那么177cm是这是这个子总体的均值的估计值个子总体的均值的估计值.这里的经验回归方程这里的经验回归方程 其其斜率斜率可以解释为可以解释为父亲身高每增加父亲身高每增加1 cm，其，其儿子身高平均增加儿子身高平均增加0.839cm.分析模型还可以发现，高个子父亲有生高个分析模型还可以发现，高个子父亲有生高个子儿子的趋势，但一群高个子父亲的儿子们的平均身高要低于父亲们的平均身子儿子的趋势，但一群高个子父亲的儿子们的平均身高要低于父亲们的平均身高，例如高，例如 x=185(cm)，则，则 =184.172(cm).矮个子父亲有生矮个子儿子的趋势，但一群矮个子父亲的儿子们的平均身
17、高矮个子父亲有生矮个子儿子的趋势，但一群矮个子父亲的儿子们的平均身高要高于父亲们的平均身高，例如要高于父亲们的平均身高，例如 x=170(cm)，则，则 =171.587(cm).0.83928.957yx，y y对于对于响应变量响应变量Y，通过，通过观测得到的数据观测得到的数据称为称为观测值观测值，通过，通过经验回归方程经验回归方程得到的得到的)称为称为预测值预测值，观测值减去预测值观测值减去预测值称为称为残差残差.残差是随机误差的估计残差是随机误差的估计结果，通过结果，通过对残差的分析可以判断模型刻画数据的效果对残差的分析可以判断模型刻画数据的效果，以及判断原始数，以及判断原始数据中据中是
18、否存在可疑数据是否存在可疑数据等，这方面工作称为等，这方面工作称为残差分析残差分析.残差分析：残差分析：例如，对于下表中的第例如，对于下表中的第6个观测，父亲身高为个观测，父亲身高为172cm，其儿子身高的，其儿子身高的观测观测值值为为y6=176(cm)，预测值预测值为为 残差为残差为176-173.265=2.735(cm).6173.265()ycm，编号编号1234567891011121314父亲身高父亲身高/cm174170173169182172180172168166182173164180儿子身高儿子身高/cm176176170170185176178174170168178
19、172165182类似地，我们还可以得到其他的残差，如下表所示类似地，我们还可以得到其他的残差，如下表所示.编号编号父亲身高父亲身高/cm儿子身高观测值儿子身高观测值/cm儿子身高预测值儿子身高预测值/cm残差残差/cm1174176174.9431.0572170176171.5874.4133173170174.1044.1044169170170.7480.7485182185181.6553.3456172176173.2652.7357180178179.9771.9778172174173.2650.7359168170169.9090.09110166168168.2310.23
20、111182178181.6553.65512173172174.1042.1041316416566.5531.55314180182179.9772.023残差表：残差表：为了使数据更加直观，用父亲身高作为横坐标，残差作为纵坐为了使数据更加直观，用父亲身高作为横坐标，残差作为纵坐标，可以画出残差图，如图下所示标，可以画出残差图，如图下所示.残差图：残差图：012345-1-2-3-4-5160165170175180185残差残差/cm父亲身高父亲身高/cm观判断模型是否满足一元线性回归模型的假设观判断模型是否满足一元线性回归模型的假设.一般地，建立经验回归方程后，通常需要对模型刻画数据的
21、效果进行分析一般地，建立经验回归方程后，通常需要对模型刻画数据的效果进行分析.借助残差分析还可以对模型进行改进，使我们能借助残差分析还可以对模型进行改进，使我们能根据改进模型作出更符合实际根据改进模型作出更符合实际的预测与决策的预测与决策.观察残差的散点图可观察残差的散点图可以发现，残差比较以发现，残差比较均匀均匀地分布在横轴的两边地分布在横轴的两边.说说明明残差比较符合一元线残差比较符合一元线性回归模型的假定性回归模型的假定，是，是均值为均值为0、方差为、方差为2的随的随机变量的机变量的观测值观测值.可见，可见，通过观察残差图可以直通过观察残差图可以直 思考思考2 观察下列四幅残差图，你认为
22、哪一个残差满足一元线性回归模型中观察下列四幅残差图，你认为哪一个残差满足一元线性回归模型中对随机误差的假定对随机误差的假定?通过观察发现，通过观察发现，图图(4)的残差比较均匀地的残差比较均匀地分布在以取值为分布在以取值为0的的横轴为对称轴的水平横轴为对称轴的水平带状区域内带状区域内.所以在所以在四幅残差图中，只有四幅残差图中，只有图图(4)满足一元线性回满足一元线性回归模型对随机误差的归模型对随机误差的假设假设.x(s)5101520304050607090120y(m)610101316171923252946 例例2在某种产品表面进行腐蚀刻线试验，得到腐蚀深度在某种产品表面进行腐蚀刻线试
23、验，得到腐蚀深度y(m)与与腐蚀时间腐蚀时间x(s)之间的一组观察值如表之间的一组观察值如表.(1)画出散点图；画出散点图；(2)求求y关于关于x的经验回归方程；的经验回归方程；(3)利用经验回归方程预测时间为利用经验回归方程预测时间为100 s时腐蚀深度为多少时腐蚀深度为多少解解：(1)散点图如图所示，散点图如图所示，x(s)5101520304050607090120y(m)610101316171923252946y关于关于x的经验回归方程为的经验回归方程为510214(2)1111xy ,11113910iiix y ,112136750iix ,1111122215102141113
24、9101111110.3045103675011()1111iiiiix yx ybxx ，5.36.aybx 0.3045.36.yx 解：解：(3)根据根据(2)求得的经验回归方程，当腐蚀时间为求得的经验回归方程，当腐蚀时间为100s时，时，即腐蚀时间为即腐蚀时间为100s时腐蚀深度为约时腐蚀深度为约35.76m.35.76(m)y ，年份年份x20162017201820192020储蓄存款额储蓄存款额y/千亿元千亿元567810 变式变式 某地随着经济的发展，居民收入逐年增长，该地一银行连续五年年某地随着经济的发展，居民收入逐年增长，该地一银行连续五年年底的储蓄存款情况如下表所示底的储
25、蓄存款情况如下表所示.为了计算方便，工作人员将上表的数据进行了处理，令为了计算方便，工作人员将上表的数据进行了处理，令tx2 015，zy5，得到下表，得到下表.t12345z01235(1)求求z关于关于t的经验回归方程；的经验回归方程；(2)通过通过(1)中的方程，求出中的方程，求出y关于关于x的经验回归方程；的经验回归方程；(3)用所求经验回归方程预测到用所求经验回归方程预测到2022年年底，该地此银行储蓄存款额可达年年底，该地此银行储蓄存款额可达到多少？到多少？(1)求求z关于关于t的经验回归方程；的经验回归方程；(2)通过通过(1)中的方程，求出中的方程，求出y关于关于x的经验回归方
26、程；的经验回归方程；(3)用所求经验回归方程预测到用所求经验回归方程预测到2022年年底，该地此年年底，该地此银行储蓄存款额可达到多少？银行储蓄存款额可达到多少？t12345z01235(1)32.2tz ,5145iiit z ,52155iit ,解：解：455 3 2.21.2555 9b ，z关于关于t的经验回归方程为的经验回归方程为1.4.azbt 1.21.4.zt (2)201551.21.4txzyzt 将将,代代入入,可可得得51.2(2015)1.41.22414.4.yxyx ,即即y关于关于x的经验回归方程为的经验回归方程为1.22414.4.yx(3)20221.22
27、414.412.xyxy 将将代代入入,可可得得预测到预测到2022年年底，该地此银行储蓄存款额可达到年年底，该地此银行储蓄存款额可达到12千亿元千亿元.课本课本113页页 1.对一元线性回归模型参数对一元线性回归模型参数a和和b的估计中，有人认为的估计中，有人认为:“估计方法不止一估计方法不止一种，根据不同的样本观测数据到直线种，根据不同的样本观测数据到直线 整体接近程度整体接近程度的定义，可以得到的定义，可以得到参数参数a和和b不同的估计，只要不同的估计，只要整体接近程度整体接近程度定义合理即可定义合理即可.”你觉得这个你觉得这个说法对吗说法对吗?这个说法是对的这个说法是对的.选择刻画散点
28、趋势的直线可以有不同的标准，取选择刻画散点趋势的直线可以有不同的标准，取决于决于“整体接近程度整体接近程度”的定义，定义不同，得到参数的定义，定义不同，得到参数a和和b的估计往往也不的估计往往也不同同.例如，我们可以用例如，我们可以用 刻画刻画“整体接近程度整体接近程度”得到参数得到参数a和和b的最小二乘估计，也可以用的最小二乘估计，也可以用 刻画刻画“整体接近程度整体接近程度”得到参数得到参数a和和b的估计，二者估计的结果一般不同的估计，二者估计的结果一般不同.21()niiiybxa 1|()|niiiybxa 解：解：课本课本113页页估计女儿的身高为估计女儿的身高为168 cm左右左右
29、.2.假如女儿身高假如女儿身高y(单位单位:cm)关于父亲身高关于父亲身高x(单位单位:cm)的经验回归方程为的经验回归方程为 已知父亲身高为已知父亲身高为175 cm，请估计女儿的身高，请估计女儿的身高.0.8125.82.yx 解：解：0.81 17525.82167.57y，解：解：先画人体的脂肪含量与年龄的散点图，先画人体的脂肪含量与年龄的散点图，如图如图(1)所示所示.由散点图可以发现人体的脂肪含由散点图可以发现人体的脂肪含量与年龄呈现近似线性关系，可以用一元线性量与年龄呈现近似线性关系，可以用一元线性回归模型刻画回归模型刻画.课本课本113页页 3.根据下表数据，建立人体的脂肪含量
30、关于年龄的经验回归方程，画出残根据下表数据，建立人体的脂肪含量关于年龄的经验回归方程，画出残差图，描述残差图的特点差图，描述残差图的特点.编号编号1234567891011121314年龄年龄/岁岁2327394145495053545657586061脂肪含量脂肪含量/9.517.821.225.927.526.328.229.630.231.430.833.535.234.6(1)用用y表示脂肪含量，表示脂肪含量，x工表示年龄工表示年龄.用统计软用统计软件计算，可得到人体的脂肪含量关于年龄的经件计算，可得到人体的脂肪含量关于年龄的经验回归方程为验回归方程为0.57650.4478.yx 解
31、：解：课本课本113页页 3.根据下表数据，建立人体的脂肪含量关于年龄的经验回归方程，画出残根据下表数据，建立人体的脂肪含量关于年龄的经验回归方程，画出残差图，描述残差图的特点差图，描述残差图的特点.编号编号1234567891011121314年龄年龄/岁岁2327394145495053545657586061脂肪含量脂肪含量/9.517.821.225.927.526.328.229.630.231.430.833.535.234.6 画残差图，如图画残差图，如图(2)所示，通过残差图可以所示，通过残差图可以看到，残差比较均匀地看到，残差比较均匀地分布在横轴的两边分布在横轴的两边.说说明
32、残差比较符合一元线明残差比较符合一元线性回归模型对随机误差性回归模型对随机误差的假设的假设.01234-1-2-3-401020304050残差残差/cm年龄年龄6070(2)经计算可知残差的总和为经计算可知残差的总和为0.027.但是但是课本课本113页页 4.计算表计算表8.2-2中的所有残差之和，你能发现什么规律中的所有残差之和，你能发现什么规律?解：解：11()()()0.nniiiiiyyybxanynbxnan ybxa 即理论上残差的总和应等于即理论上残差的总和应等于0，这个误差是由于计算过程中四舍，这个误差是由于计算过程中四舍五入的原因导致五入的原因导致.课本课本113页页解：
33、解：2221112nnniiiiiiibxbx yy 5.假设变量假设变量x与变量与变量Y的的n对观测数据为对观测数据为(x1,y1)，(x2,y2)，(xn,yn)，两个变量满足一元线性回归模型两个变量满足一元线性回归模型2()0().YbxeE eD e ，,请写出参数请写出参数b的最小二乘估计的最小二乘估计.222211()(2)nniiiiiiiiQybxybx yb x设设则则Q是关于是关于b的二次函数的二次函数.要使要使Q小值，当且仅当小值，当且仅当b的取值为的取值为121.niiiniix ybx 小结：小结：1122211()()()nniiiiiinniiiixxyyx ynx ybxxxnxaybx 1.经验回归方程：经验回归方程：我们将我们将 称为称为Y关于关于x的的经验回归方程经验回归方程，也称，也称经验回归函数经验回归函数或或经经验回归公式验回归公式，其图形称为，其图形称为经验回归直线经验回归直线.这种求经验回归方程的方法叫做这种求经验回归方程的方法叫做最小二乘法最小二乘法.ybxa2.最小二乘估计：最小二乘估计：经验回归方程经验回归方程中的参数中的参数 计算公式为：计算公式为：b a,
