1、8 最小二乘估计 在上节课的讨论中,我们知道,人体脂肪含量在上节课的讨论中,我们知道,人体脂肪含量和年龄之间近似存在着线性关系,这种和年龄之间近似存在着线性关系,这种线性关系可线性关系可以有以有多种方法来进行刻画多种方法来进行刻画.但是这些方法都缺少数学但是这些方法都缺少数学思想依据思想依据.问题问题1 1.用什么样的线性关系刻画会更好一些?用什么样的线性关系刻画会更好一些?想法:想法:保证这条直线与所有点都接近(也就是距离保证这条直线与所有点都接近(也就是距离最小)最小).最小二乘法就是基于这种想法最小二乘法就是基于这种想法.本节课我们来进行本节课我们来进行详细学习!详细学习!1.1.了解最
2、小二乘法的思想了解最小二乘法的思想.2.2.能根据给出的线性回归方程系数公式建立线性能根据给出的线性回归方程系数公式建立线性回归方程回归方程.(重点重点)3.3.会用线性回归方程对总体进行估计会用线性回归方程对总体进行估计.(难点)难点)思考思考1.1.用什么样的方法刻画点与直线的距离会更方用什么样的方法刻画点与直线的距离会更方便有效?设直线方程为便有效?设直线方程为y=y=a+bxa+bx,样本点,样本点A A(x xi,y yi)方法一方法一:点到直线的距离公式点到直线的距离公式方法二方法二:12baybxdii2iibxayyiiy,xiibxa,xbxayxA A0 0显然方法二能有效
3、地表示点显然方法二能有效地表示点A A与直线与直线y=y=a+bxa+bx的距离,而的距离,而且比方法一计算更方便,所以我们用它来表示二者之且比方法一计算更方便,所以我们用它来表示二者之间的接近程度间的接近程度.思考思考2.2.怎样刻画多个点与直线的接近程度?怎样刻画多个点与直线的接近程度?例如有例如有5 5个样本点,其坐标分别为(个样本点,其坐标分别为(x x1 1,y y1 1),(),(x x2 2,y y2 2),(),(x x3 3,y y3 3),(),(x x4 4,y y4 4),(),(x x5 5,y y5 5),与直线),与直线y=y=a+bxa+bx的接近程度:的接近程
4、度:255244233222211bxaybxaybxaybxaybxay提示:提示:若有若有n n个样本点:(个样本点:(x x1 1,y y1 1),(x xn n,y yn n),可以用下),可以用下面的表达式来刻画这些点与直线面的表达式来刻画这些点与直线y ya+bxa+bx的接近程度的接近程度:2211nny(abx)y(abx)使上式达到最小值的直线使上式达到最小值的直线y=y=a+bxa+bx就是所要求的直线,就是所要求的直线,这种方法称为这种方法称为最小二乘法最小二乘法.概括1212,nnxxxyyyxynnLLLL若若则则可可以以求求得得 112222212112222221
5、2.nnnnnnxxyyxxyyxxyybxxxxxxx yx yx ynxyxxxnxaybx L LL LL LL L从而得到直线从而得到直线y=+bx称称为为线性回归方程线性回归方程.,b线性回归方程线性回归方程的的系数系数.先来讨论先来讨论3 3个样本点的情况个样本点的情况2211nny(abx)y(abx)思考思考3 3:怎样使怎样使达到最小值?达到最小值?利用配方法可得利用配方法可得22221122333-2-)(-)(-)(-)aa y bxy bxy bxy bx(同样使用配方法可以得到,当同样使用配方法可以得到,当从而得到直线从而得到直线y=y=+bx+bx的系数的系数,b
6、b,且称直线,且称直线y=y=+bx+bx为这为这3 3个样本点的线性回归方程个样本点的线性回归方程.用同样的方法我们可以推导出用同样的方法我们可以推导出n n个点的线性回归方个点的线性回归方程的系数:程的系数:niii 1n22ii 1x ynx yxnx牢记公牢记公式式特别提醒:特别提醒:在回归直线方程中,在回归直线方程中,b b是回归直线方程是回归直线方程的斜率,的斜率,a a是截距;是截距;b b的含义容易理解成增加的单的含义容易理解成增加的单位数,而实际上,它代表位数,而实际上,它代表x x每增加一个单位,每增加一个单位,y y的的平均增加单位数平均增加单位数.一般地说,当回归系数一
7、般地说,当回归系数b b0 0时,时,说明两个变量呈正相关关系,它的意义是:当说明两个变量呈正相关关系,它的意义是:当x x每每增加一个单位时,增加一个单位时,y y就增加就增加b b个单位;当个单位;当b b0 0时,时,说明两个变量呈负相关关系,它的意义是:当说明两个变量呈负相关关系,它的意义是:当x x每每增加一个单位时,增加一个单位时,y y就减少就减少b b个单位个单位.思考思考4:4:如果样本点只有两个,用最小二乘法得如果样本点只有两个,用最小二乘法得到的直线与用两点式求出的直线一致吗?到的直线与用两点式求出的直线一致吗?提示提示:是一致的是一致的.与用两点式相同与用两点式相同.例
8、例1 1 在上一节练习中,从散点图可以看出,某小卖在上一节练习中,从散点图可以看出,某小卖部部6 6天卖出热茶的杯数(天卖出热茶的杯数(y)与当天气温()与当天气温(x)之间是)之间是线性相关的线性相关的.数据如下表数据如下表:气温(气温(xi)26261818131310104 4-1-1杯数(杯数(yi)杯)杯202024243434383850506464(1)(1)试用最小二乘法求出线性回归方程试用最小二乘法求出线性回归方程.(2)(2)如果某天的气温是如果某天的气温是33,请预测这天可能会卖,请预测这天可能会卖出热茶多少杯出热茶多少杯.解解:(1 1)由散点图可以看出,两个变量)由散
9、点图可以看出,两个变量是线性相关的是线性相关的.648.1-557.57557.57648.1612866191031153353353353115335xyabyx于是,线性回归方程为于是,线性回归方程为所以所以由表格可得:由表格可得:,35115xy=33351151 910633b1.64835351 286633a57.557由表格得:,所以分析理解(2 2)当某天的气温是)当某天的气温是33时,当天卖出热茶的杯数估计为:时,当天卖出热茶的杯数估计为:1.1.列表、计算.2.2.代入公式求a,ba,b.3.3.写出直线方程.求线性回归方程的步骤:利用试验数据进行拟合时,所用数据越多,拟
10、合效果越好.但即使选取相同的样本数,得到的直线方程也可能是不相同的,这是由样本的随机性造成的,样本量越大,所估计的直线方程越能更好地反映变量之间的关系.1.1.利用最小二乘法估计时,首先要作出数据的散点图,利用最小二乘法估计时,首先要作出数据的散点图,利用散点图观察数据是否具有线性关系利用散点图观察数据是否具有线性关系.2.2.散点图呈现线性关系时,利用最小二乘法公式求出散点图呈现线性关系时,利用最小二乘法公式求出方程方程.3.3.直线拟合只是拟合的方式之一,散点图呈现其他的直线拟合只是拟合的方式之一,散点图呈现其他的规律时,我们也可以利用其他的曲线进行拟合规律时,我们也可以利用其他的曲线进行
11、拟合.【说明说明】例例2 2 下面是两个变量的一组数据:下面是两个变量的一组数据:x x1 12 23 34 45 56 67 78 8y y1 14 49 916162525363649496464请用最小二乘法求出这两个变量之间的线性回归方程请用最小二乘法求出这两个变量之间的线性回归方程.解解5.25,5.4yx根据上表数据,可以计算出:根据上表数据,可以计算出:其他数据如下表其他数据如下表i i1 11 11 11 11 12 22 24 44 48 83 33 39 99 927274 44 41616161664645 55 5252525251251256 66 636363636
12、2162167 77 7494949493433438 88 864646464512512合计合计36362042042042041 2961 296iiyxiy2ixix,思考:哪一个对呢?思考:哪一个对呢?y=-15+9x.y=-15+9x.所以,利用最小二乘法估计时,要先作出数据的散所以,利用最小二乘法估计时,要先作出数据的散点图点图.如果散点图呈现一定的规律性如果散点图呈现一定的规律性,我们再根据这我们再根据这个规律性进行拟合个规律性进行拟合.如果散点图呈现出线性关系如果散点图呈现出线性关系,我我们可以用最小二乘法估计出线性回归方程们可以用最小二乘法估计出线性回归方程;如果散如果散点
13、图呈现出其他的曲线关系点图呈现出其他的曲线关系,我们就要利用其他的我们就要利用其他的工具进行拟合工具进行拟合.x0 01 12 23 3y1 13 35 57 7D D1.1.已知已知x x,y y之间的一组数据如下表,则之间的一组数据如下表,则y y与与x x的线性的线性回归方程回归方程y=y=a+bxa+bx必经过点必经过点 ()()A.A.(2 2,2 2)B.B.(1.51.5,0 0)C.C.(1 1,2 2)D.D.(1.51.5,4 4)A AA A4.4.某连锁经营公司所属某连锁经营公司所属5 5个零售店某月的销售额和个零售店某月的销售额和利润额资料如下表:利润额资料如下表:(
14、1 1)画出销售额和利润额的散点图)画出销售额和利润额的散点图.(2 2)若销售额和利润额具有相关关系,计算利润)若销售额和利润额具有相关关系,计算利润额额y y对销售额对销售额x x的线性回归方程的线性回归方程.商店名称商店名称A AB BC CD DE E销售额(销售额(x x)/千万元千万元3 35 56 67 79 9利润额(利润额(y y)/百万元百万元2 23 33 34 45 5i ix xi iy yi ix xi i2 2x xi iy yi i1 13 32 29 96 62 25 53 3252515153 36 63 3363618184 47 74 4494928285 59 95 581814545合计合计30301717200200112112(2 2)数据如下表:)数据如下表:可以求得可以求得b=0.5b=0.5,a=0.4a=0.4线性回归方程为:线性回归方程为:/千万元千万元xy解:解:(1 1)0/百万元百万元(1 1)散点图如图)散点图如图所示:所示:2.2.线性回归方程的系数:线性回归方程的系数:1.1.最小二乘法的思想最小二乘法的思想.一切澎湃于心,让我们真正能够在心里有所酝酿的东西,都值得我们去努力.