1、19.1 9.1 回归分析的概念回归分析的概念 9.2 9.2 一元线性回归一元线性回归 9.3 9.3 可可线性化的一元非线性回归线性化的一元非线性回归9.4 9.4 单因素试验方差分析单因素试验方差分析 回归分析及方差分析回归分析及方差分析 Ch92 “回归”一词的历史渊源“回归回归”一词最早由一词最早由Francis Galton引入。引入。十九世纪，英国生物学家兼统计学家高尔顿研究发现：十九世纪，英国生物学家兼统计学家高尔顿研究发现：其中其中x表示父亲身高，表示父亲身高，y 表示成年儿子的身高（单位：英表示成年儿子的身高（单位：英寸，寸，1英寸英寸=2.54厘米）。这表明子代的平均高度
2、有向中心厘米）。这表明子代的平均高度有向中心回归的意思，使得一段时间内人的身高相对稳定。之后回回归的意思，使得一段时间内人的身高相对稳定。之后回归分析的思想渗透到了数理统计的其它分支中。归分析的思想渗透到了数理统计的其它分支中。xy516.073.3339.19.1回归分析的基本概念回归分析的基本概念变量之间的关系确定性关系非确定性关系(相关关系)4 正相关 线性相关 不相关 相关系数：统计依赖关系 负相关 11XY 有因果关系 回回归归分分析析 正相关 无因果关系 相相关关分分析析 非线性相关 不相关 负相关对变量间对变量间统计依赖关系统计依赖关系的考察主要是通过的考察主要是通过相关分析相关
3、分析(correlation analysis)(correlation analysis)或或回归分析回归分析(regression analysis)(regression analysis)来完成的。来完成的。对于相关关系，虽然不能求出变量之间精确的函数关系式，对于相关关系，虽然不能求出变量之间精确的函数关系式，但是通过大量的观测数据，可以发现它们之间存在一定的但是通过大量的观测数据，可以发现它们之间存在一定的统计规律性。统计规律性。5回归分析回归分析是研究一个变量关于另一个（些）变量的具体依是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。赖关系的计算方法和理论。分为：
4、一元线性回归、多元线性回归、可线性化的非线性归分为：一元线性回归、多元线性回归、可线性化的非线性归（双曲线、指数、对数、二次、幂函数等）（双曲线、指数、对数、二次、幂函数等）6基本方法基本方法考察随机变量考察随机变量Y Y与普通变量与普通变量x x之间的相关关系之间的相关关系.例例1.1.在农业生产中小麦的亩产量在农业生产中小麦的亩产量Y Y与所施肥料量与所施肥料量x x有一定关系，有一定关系，在一定范围内，若施肥量大，亩产也较高。在一定范围内，若施肥量大，亩产也较高。问题：问题：Y Y是怎样依赖施肥料量是怎样依赖施肥料量x x的变化的。的变化的。问题的特征：问题的特征：x x是普通变量是普通
5、变量,Y,Y是随机变量是随机变量.处理方法：处理方法：按数理统计处理问题的方法。按数理统计处理问题的方法。7(1)(1)先进行一些试验，先进行一些试验，分别取不同的值分别取不同的值),(21nxxxY Y也得到也得到 个相应观察值个相应观察值xn),(21nyyy得到得到n n对数据对，称为样本数据点对数据对，称为样本数据点),(,),(),(2211nnyxyxyx(2)(2)散点图散点图,),(,),(),(2211画画在在平平面面直直角角坐坐标标系系中中将将nnyxyxyxYxo),(nnyx8(3)(3)寻找寻找Y Y与与x x的数量关系：的数量关系：.),(的的具具体体形形式式 xf
6、Y 其中其中.,差差为不可控制的随机误为不可控制的随机误为随机变量为随机变量为普通变量为普通变量 Yx.的未知的关系表达的未知的关系表达与与是是xYf一般地，一般地，),0(,)(),(2NxxfY且取，9 例例1 合金的强度合金的强度y(107Pa)与合金中碳的与合金中碳的含量含量x(%)有关。为研究两个变量间的关系。有关。为研究两个变量间的关系。首先是收集数据，我们把收集到的数据记为首先是收集数据，我们把收集到的数据记为(xi,yi),i=1,2,n。本例中，我们收集到。本例中，我们收集到12组组数据，列于表数据，列于表1中中 进行回归分析首先是回归函数形式的选择。当只有一个自变量时，通常
7、可采用画散点图 的方法进行选择。10表1 合金钢强度y与碳含量x的数据 序号序号x(%)y(107Pa)序号序号x(%)y(107Pa)10.1042.070.1649.020.1143.080.1753.030.1245.090.1850.040.1345.0100.2055.050.1445.0110.2155.060.1547.5120.2360.011 为找出两个量为找出两个量间存在的回归函间存在的回归函数的形式，可以数的形式，可以画一张图：把每画一张图：把每一对数一对数(xi,yi)看成看成直角坐标系中的直角坐标系中的一个点，在图上一个点，在图上画出画出n个点，称这个点，称这张图为散
8、点图，张图为散点图，见右图。见右图。0.1 00.1 50.2 04 05 06 0碳含量合 金 钢 强 度图8.4.1 合金钢强度及碳含量的散点图12 从散点图我们发现从散点图我们发现1212个点基本在一条直线附近，这说明两个点基本在一条直线附近，这说明两个变量之间有一个线性相关关系，这个相关关系可以表示个变量之间有一个线性相关关系，这个相关关系可以表示为为 这便是这便是y y关于关于x x的一元线性回归的数据结构式。通常假定的一元线性回归的数据结构式。通常假定 在对未知参数作区间估计或假设检验时，还需要假定误在对未知参数作区间估计或假设检验时，还需要假定误差服从正态分布，即差服从正态分布，
9、即显然假定（显然假定（2 2）比假定（）比假定（1 1）强）强 xY10)1()(,0)(2VarE)2(),(210 xNy13由于由于 0 0,1 1均未知，需要我们从收集到的数据均未知，需要我们从收集到的数据(x xi i,y yi i)，i=i=1,2,1,2,n n，出发进行估计。在收集数据时，我们一般要求，出发进行估计。在收集数据时，我们一般要求观察独立地进行，观察独立地进行，即假定即假定y y1 1,y y2 2,y yn n,相互独立。综合上述诸项假定，相互独立。综合上述诸项假定，我们可以给出最简单、常用的一元线性回归的数学模型：我们可以给出最简单、常用的一元线性回归的数学模型
10、：)(),.,1(,i10，独立同分布，其分布为各Nnixyiii149.2 9.2 一元线性回归一元线性回归xY101.本节考虑的模型是其中10,都是未知参数,为回归系数,1.0)(Exx10)(10,分别是直线的截距和斜率。xx10)(称为Y关于x的经验回归函数。方程 xY10称为Y关于x的经验线性回归方程，或经验回归方程，其相应的图形称为经验回归直线。此模型称为一元线性回归模型，基于此种模型的统计分析称为一元线性回归分析.152.下面用最小二乘法来求对于自变量x和因变量y的n对观察值10,的最小二乘估计的最小二乘估计),),.(,(),(2211nnyxyxyxnixYiii,.,2,1
11、,10iiY其中是对观察时的随机误差.10,的估计。16iixY10称为回归值，iY|iiiyyeniiixyQ121010)(),(使得),(),(min1010,10QQ成立的 0和 101称为和的最小二乘估计。170)(21100niiixyQ0)(21101iniiixxyQ于是得方程组niiiniiniiniiniiyxxxyxn1112011110niiixyQ121010)(),(182221)()()()(xxyyxxxxnyxyxniiiiiiiii解得01yx，,)()()()(22yylyyxxlxxliyyiixyixx记于是,1xxxyllxxxyllxy 0 nii
12、iniiniiniiniiyxxxyxn111201111019例例9.2.19.2.1设某化学过程的得率Y Y与该过程的温度x有关.现作了10次测量，其数据如下表所示.x/38434954606671778288y/%20.420.922.523.024.224.326.226.628.028.92222628,62.8,42004,1()10142004(628)102565.6.iixxiixxxlxx,8.4352456281018.15821)(101,8.15821,56.70)245(10156.6077)(101,56.6077,5.24,2452222iiiixyiiiiyy
13、iiyxyxlyxyylyyy解解101435.80.1699,24.50.1699 62.813.83262565.6xyxxlyxl故于是得线性回归方程xY1699.08326.1320由此给出回归方程为:28.5340 130.6022yx例2 使用例1种合金钢强度和碳含量数据求回归方程。49.2083y 93.4958n x y229057.5208ny 0128.5340yx0.1583x 0186.0,3008.0,3194.0,1583.0,90.122xxiilxnxxx解4292.2,4958.93,9250.95xyiilyxnyx,75.29392,2083.49,5.5
14、902iiyxy2292.335,5208.290572yylyn,5340.28,6022.130101xyllxxxyxy6022.1305340.2821有如下性质：和的最小二乘估计和定理1010 9.2.1 则有若进一步假设,.,2,1),0()2(2niNi),(2200 xxinlxN),(211xxlN,.的无偏估计和分别是和1010).1(22的估计2.3iiixY10残差显然0)(EixyyyxxyyiiillllYYRSS12122)()(残差的平方和定理定理9.2.29.2.2 22)(212iiYYnnRSS是 2的无偏估计。23例：求出例9.2.1中误差方差中误差方差
15、 的无偏估计的无偏估计 2解例9.2.1中已求出 1699.0,06.75,8.4351yyxyll0176.18.4351699.006.75RSS1272.02100176.12所以24定理定理9.2.3对一元线性回归模型（对一元线性回归模型（9.2.3），若进一步假定随机误差niNi,.,2,1),0(2，则有)2()2(2222nnRSS(1).01(2)RSS与和相互独立.254 回归方程的显著性检验 在使用回归方程作进一步的分析以前，首先应对回归在使用回归方程作进一步的分析以前，首先应对回归方程是否有意义进行判断。方程是否有意义进行判断。如果如果 1=0，那么不管，那么不管x如何变
16、化，如何变化，E(y)不随不随x的变化作的变化作线性变化，那么这时求得的一元线性回归方程就没有线性变化，那么这时求得的一元线性回归方程就没有意义，称回归方程意义，称回归方程不显著。不显著。如果如果 1 0，E(y)随随x的变的变化作线性变化，称回归方程是化作线性变化，称回归方程是显著显著的。的。综上，对回归方程是否有意义作判断就是要作如下的综上，对回归方程是否有意义作判断就是要作如下的显著性检验：显著性检验：H0：1=0 vs H1：1 0 拒绝拒绝H0表示回归方程是显著的。表示回归方程是显著的。26需要检验需要检验?10这种线性关系确实具有与xYxY假设假设0:,0:1110HH.0无线性关
17、系无线性关系与与为真代表为真代表xYH方法：方法：;检验t;检验F.相相关关系系数数检检验验等等27.0:,0:1110HH检验假设),0(21xxlN).2()2(2222nRSSn因此相互独立并且,1RSS).2()2(11ntnRSSllxxxx的拒绝域为得0Ht检验法检验法)2(|21ntt为真时，0H28例例9.2.3 试说明例9.2.1中的线性回归效果是否显著).01.0(解解要在水平 01.0下检验如下假设0:,0:1110HH1272.0,1699.0,6.256521xxl3567.0 故1260.243567.06.25651699.0t查表知 3554.3)8(995.0
18、t因为 24.12603.3554，所以拒绝0H，线性回归效果是显著的.295.回归系数1的置信区间1的置信水平为 1的置信区间为xxxxlntlnt)2(,)2(211211例例 9.2.4 求例9.2.1中回归系数 1的置信水平为95%的置信区间.0162.01699.06.25653567.03060.21699.0)2(211xxlnt解解30如果经检验，回归方程的线性回归效果是显著的，那么就可以用已经获得的回归方程 xY10进行预测.6.预测所谓预测（或称预报），就是以一定的置信水平预测与 0 x0Y对应的 的取值范围.2001220012()1(2)1,()1(2)1xxxxxxY
19、tnnlxxYtnnl称为 0Y的置信水平为 1的预测区间，也称为置信区间.31方法方法通过适当的变量变换通过适当的变量变换,化成一元线性化成一元线性回归问题进行分析处理回归问题进行分析处理.xYe .例如两边取对数两边取对数.lnlnxY.bxaY 9.3、可化为一元线性回归的问题32，baxxyxvyu1,1bvaubaxy xvyuln,lnbvau lnbxaey yulnbxau lnxbaylnxvlnbvayxbaey yulnxv1bvau lnxbeay1yu1xevbvau，曲线变换变换后的线性式1双曲函数2幂函数3指数函数4对数函数5倒指数函数6S型曲线33配曲线的一般方
20、法是：配曲线的一般方法是：34例例9.3.1一只红铃虫的产卵数Y和温度x有关.经观测获得一组红铃虫产卵数与温度的数据如下表所示.试求Y关于x的回归方程.编号1234567温度x/21232527293235产卵数y71121246611532535解1.根据这组数据画出散点图.2.选择模型xey100ln,lnyu作变换,7,.,2,1,1ixuiii于是得到3.线性化36yuln编号1234567x212325272932351.94592.39793.04453.17814.18974.74495.78381根据这些数据可算得与的最小二乘估计.经计算7143.147,5414,4286.27,1922xxiilxxx1820.40,7079.733,6121.3,2848.25xuiiiluxuu2720.07143.1471820.401xxxull8485.34286.272720.06121.31xuxU2720.08485.3于是得U关于x的回归方程 374.非线性化 xexY272.002131.0)2720.08485.3exp(化为Y关于x的回归方程为
