第十二讲回归分析课件.ppt

1、1/14/20231回归分析回归分析1/14/20232回归分析在一组数据的基础上研究这样几个问题：回归分析在一组数据的基础上研究这样几个问题：（i）建立因变量）建立因变量y与自变量与自变量x,x,xm 之间的回归模型之间的回归模型（经验公式）；（经验公式）；（ii）对回归模型的可信度进行检验；）对回归模型的可信度进行检验；（iii）判断每个自变量）判断每个自变量x(i=1,2,m)对对y 的影响是否的影响是否显著；显著；（iv）诊断回归模型是否适合这组数据；）诊断回归模型是否适合这组数据；（v）利用回归模型对）利用回归模型对y 进行预报或控制。进行预报或控制。1/14/20233回归分析回归

2、分析数学模型及定义数学模型及定义*模型参数估计模型参数估计*检验、预测与控制检验、预测与控制可线性化的一元非线可线性化的一元非线性回归（曲线回归性回归（曲线回归）数学模型及定义数学模型及定义*模型参数估计模型参数估计*多元线性回归中的多元线性回归中的检验与预测检验与预测逐步回归分析逐步回归分析1/14/20234一、数学模型一、数学模型例例1 测16名成年女子的身高与腿长所得数据如下：身高143145146147149150153154155156157158159160162164腿长8885889192939395969897969899100102以身高x为横坐标，以腿长y为纵坐标将这些

3、数据点（xI，yi）在平面直角坐标系上标出.1401451501551601658486889092949698100102散点图xy101/14/20235 一般地，称由xy10确定的模型为一一元元线线性性回回归归模模型型，记为 210,0DExy固定的未知参数0、1称为回归系数，自变量 x 也称为回归变量.一元线性回归分析的主要任务主要任务是：1、用试验值（样本值）对0、1和作点估计；2、对回归系数0、1作假设检验；3、在 x=0 x处对 y 作预测，对 y 作区间估计.xY10，称为 y 对对 x的的回回归归直直线线方方程程.1/14/20236二、模型参数估计二、模型参数估计1、回归系

4、数的最小二乘估计、回归系数的最小二乘估计有 n 组独立观测值，（x1，y1），（x2，y2），（xn，yn）设 相互独立且，niiiiDEnixy.,0,.,2,1,21210 记 niiiniixyQQ12101210),(最小二乘法最小二乘法就是选择0和1的估计0，1使得 ),(min),(10,1010QQ1/14/2023722110 xxyxxyxy解得（经经验验）回回归归方方程程为为:)(110 xxyxy 或 niiniiixxyyxx1211其中niiniiynyxnx111,1 niiiniiyxnxyxnx11221,11/14/202382、2的的无无偏偏估估计计一个好的

5、拟合方程，其残差应越小越好。残差越小，拟合值与观测值越接近，各观测点在拟合直线周围聚集的紧密程度越高，也就是说，拟合方程 解释y 的能力越强。另外，当剩余标准差 越小时，还说明残差值的变异程度越小。由于残差的样本均值为零。所以，其离散范围越小，拟合的模型就越为精确。1/14/20239三、检验、预测与控制三、检验、预测与控制1、显著性检验、显著性检验假设0:10H被拒绝，则回归显著，认为 y 与 x 存在线性关系，所求的线性回归方程有意义；否则回归不显著，y 与 x 的关系不能用一元线性回归模型来描述，所得的回归方程也无意义.一般地，回归方程的假设检验包括两个方面：一个是对模型的检验，即检验自

6、变量与因变量之间的关系能否用一个线性模型来表示，这是由F 检验来完成的；另一个检验是关于回归参数的检验，即当模型检验通过后，还要具体检验每一个自变量对因变量的影响程度是否显著。这是由t 检验完成。在一元线性分析中，由于自变量的个数只有一个，这两种检验是统一的，它们的效果完全是等价的。但是，在多元线性回归分析中，这两个检验的意义是不同的。从逻辑上说，一般常在F 检验通过后，再进一步进行t 检验。1/14/202310（）F检验法检验法 当0H成立时，)2/(nQUFeF（1，n-2）其中 niiyyU12（回回归归平平方方和和）故 F)2,1(1nF，拒绝0H，否则就接受0H.（）t检验法检验法

7、niiniixxxnxxxL12212)(其中当0H成立时，exxLT1t（n-2）故)2(21ntT，拒绝0H，否则就接受0H.1/14/202311（）r检验法检验法当|r|r1-时，拒绝 H0；否则就接受 H0.记 niniiiniiiyyxxyyxxr11221)()()(其中2,121111nFnr1/14/2023122、回归系数的置信区间、回归系数的置信区间0和和1置信水平为置信水平为 1-的置信区间分别为的置信区间分别为 xxexxeLxnntLxnnt221022101)2(,1)2(和 xxexxeLntLnt/)2(,/)2(2112111/14/2023133、预测与控

8、制、预测与控制（1）预测）预测用 y0的回归值0100 xy作为 y0的的预预测测值值.0y的置信水平为1的预测区间预测区间为 )(),(0000 xyxy其中xxeLxxnntx2021011)2()(特 别，当 n 很 大 且 x0在x附 近 取 值 时,y 的 置 信 水 平 为1的 预预 测测 区区 间间 近近 似似 为为 2121,uyuyee1/14/202314（2）控制）控制要求：xy10的值以1的概率落在指定区间yy,只要控制 x 满足以下两个不等式 yxyyxy)(,)(要求)(2xyy.若yxyyxy)(,)(分别有解x和x，即yxyyxy )(,)(.则xx,就是所求的

9、 x 的控制区间.1/14/202315四、可线性化的一元非线性回归四、可线性化的一元非线性回归 （曲线回归）（曲线回归）例例2 出钢时所用的盛钢水的钢包，由于钢水对耐火材料的侵蚀，容积不断增大.我们希望知道使用次数与增大的容积之间的关 系.对一钢包作试验，测得的数据列于下表：使用次数增大容积使用次数增大容积234567896.428.209.589.509.7010.009.939.991011121314151610.4910.5910.6010.8010.6010.9010.761/14/20231624681012141666.577.588.599.51010.511散点图此即非线性

10、回归非线性回归或曲线回归曲线回归 问题（需要配曲线）配曲线的一般方法是：配曲线的一般方法是：1/14/202317通常选择的六类曲线如下：（1）双双曲曲线线xbay1（2）幂幂函函数数曲曲线线y=abx,其中 x0,a0（3）指指数数曲曲线线 y=abxe其中参数 a0.（4）倒倒指指数数曲曲线线 y=axbe/其中 a0，（5）对对数数曲曲线线 y=a+blogx,x0（6）S 型型曲曲线线xbeay1解例 2.由散点图我们选配倒指数曲线 y=axbe/根据线性化方法，算得4587.2,1107.1Ab由此 6789.11Aea最后得 xey1107.16789.111/14/202318一

11、、数学模型及定义一、数学模型及定义nyyY.1，nknnkkxxxxxxxxxX.1.1.1212222111211，k.10，n.21kkxxy.110称为回回归归平平面面方方程程.1/14/202319二、模型参数估计二、模型参数估计1、对、对i和和2作估计作估计 得到的i代入回归平面方程得：kkxxy.110称为经经验验回回归归平平面面方方程程.i称为经经验验回回归归系系数数.解得估计值 YXXXTT11/14/2023202、多多 项项 式式 回回 归归 令iixx，i=1，2，k 多项式回归模型变为多元线性回归模型.kkxxxY.2210称为回回归归多多项项式式.上面的回归模型称为多

12、多项项式式回回归归.1/14/202321三、多元线性回归中的检验与预测三、多元线性回归中的检验与预测假设 0.:100kH（）线性模型检验）线性模型检验F检验法检验法（）回归系数检验）回归系数检验t检验法检验法 niiieyyQ12)(残差平方和）残差平方和）1/14/2023222、预测、预测（1）点预测）点预测求出回归方程kkxxy.110，对于给定自变量的值kxx,.,*1，用*110*.kkxxy来预测*110.kkxxy.称*y为*y的点预测.（2）区间预测）区间预测y 的1的预测区间（置信）区间为),(21yy,其中)1(1)1(12/10022/1001kntxxcyykntx

13、xcyykikjjiijekikjjiijeC=L-1=(cij),L=XX1knQee1/14/202323四、逐步回归分析四、逐步回归分析（4）“有进有出”的逐步回归分析。（1）从所有可能的因子（变量）组合的回归方程中选择最优者；（2）从包含全部变量的回归方程中逐次剔除不显著因子；（3）从一个变量开始，把变量逐个引入方程；选择“最优”的回归方程有以下几种方法：“最优最优”的回归方程的回归方程就是包含所有对Y有影响的变量,而不包含对Y影响不显著的变量回归方程。以第四种方法，即逐步回归分析法逐步回归分析法在筛选变量方面较为理想.1/14/202324 这个过程反复进行，直至既无不显著的变量从回

14、归方程中剔除，又无显著变量可引入回归方程时为止。逐步回归分析法逐步回归分析法的思想：从一个自变量开始，视自变量Y作用的显著程度，从大到地依次逐个引入回归方程。当引入的自变量由于后面变量的引入而变得不显著时，要将其剔除掉。引入一个自变量或从回归方程中剔除一个自变量，为逐步回归的一步。对于每一步都要进行Y值检验，以确保每次引入新的显著性变量前回归方程中只包含对Y作用显著的变量。1/14/2023251、多元线性回归、多元线性回归2、多项式回归、多项式回归3、非线性回归、非线性回归4、逐步回归、逐步回归1/14/202326多元线性回归多元线性回归 b=regress(Y,X)npnnppxxxxx

15、xxxxX.1.1.1212222111211nYYYY.21pb.101、确定回归系数的点估计值：确定回归系数的点估计值：ppxxy.110对一元线性回归，取 p=1 即可1/14/2023273、画出残差及其置信区间：画出残差及其置信区间：rcoplot（r，rint）2、求回归系数的点估计和区间估计、并检验回归模型：求回归系数的点估计和区间估计、并检验回归模型：b,bint,r,rint,stats=regress(Y,X,alpha)回归系数的区间估计残差用于检验回归模型的统计量，有三个数值：相关系数r2、F值、与F对应的概率p置信区间 显著性水平（缺省时为0.05）相关系数 r2越接

16、近 1，说明回归方程越显著；F F1-（k，n-k-1）时拒绝 H0，F 越大，说明回归方程越显著；与 F 对应的概率 p时拒绝 H0，回归模型成立.1/14/202328例例1 解：解：1、输入数据：输入数据：x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164;X=ones(16,1)x;Y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102;2、回归分析及检验：回归分析及检验：b,bint,r,rint,stats=regress(Y,X)b,bint,stats

17、1/14/2023293、残差分析，作残差图：、残差分析，作残差图：rcoplot(r,rint)从残差图可以看出，除第二个数据外，其余数据的残差离零点均较近，且残差的置信区间均包含零点，这说明回归模型 y=-16.073+0.7194x能较好的符合原始数据，而第二个数据可视为异常点.4、预测及作图：、预测及作图：z=b(1)+b(2)*x plot(x,Y,k+,x,z,r)246810121416-5-4-3-2-101234Residual Case Order PlotResidualsCase Number1/14/202330多多 项项 式式 回回 归归（一）一元多项式回归（一）一

18、元多项式回归（1）确定多项式系数的命令：p，S=polyfit（x，y，m）其中 x=（x1，x2，xn），y=（y1，y2，yn）；p=（a1，a2，am+1）是多项式 y=a1xm+a2xm-1+amx+am+1的系数；S 是一个矩阵，用来估计预测误差.（2）一元多项式回归命令：polytool（x，y，m）1、回归：、回归：y=a1xm+a2xm-1+amx+am+12、预测和预测误差估计：、预测和预测误差估计：（1）Y=polyval（p，x）求polyfit所得的回归多项式在x处 的预 测值Y；（2）Y，DELTA=polyconf（p，x，S，alpha）求polyfit所得 的回

19、归多项式在x处的预测值Y及预测值的显著性为1-alpha的置信区间Y DELTA；alpha缺省时为0.5.1/14/202331 例例 2 观测物体降落的距离s 与时间t 的关系，得到数据如下表，求s关于 t 的回归方程2ctbtas.t (s)1/302/303/304/305/306/307/30s (cm)11.8615.6720.6026.6933.7141.9351.13t (s)8/309/3010/3011/3012/3013/3014/30s (cm)61.4972.9085.4499.08113.77129.54146.48法一法一 直接作二次多项式回归：直接作二次多项式回

20、归：t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;p,S=polyfit(t,s,2)1329.98896.652946.4892tts得回归模型为：1/14/202332法二法二化为多元线性回归：化为多元线性回归：t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;T

21、=ones(14,1)t(t.2);b,bint,r,rint,stats=regress(s,T);b,stats22946.4898896.651329.9tts得回归模型为：Y=polyconf(p,t,S)plot(t,s,k+,t,Y,r)预测及作图预测及作图1/14/202333（二）多元二项式回归（二）多元二项式回归命令：rstool（x，y，model,alpha）nm矩阵显著性水平（缺省时为0.05）n维列向量由下列 4 个模型中选择 1 个（用字符串输入，缺省时为线性模型）：linear（线性）：mmxxy 110 purequadratic（纯二次）：njjjjmmxxx

22、y12110 interaction（交叉）：mkjkjjkmmxxxxy1110 quadratic（完全二次）：mkjkjjkmmxxxxy,1110 1/14/202334 例例3 设某商品的需求量与消费者的平均收入、商品价格的统计数 据如下，建立回归模型，预测平均收入为1000、价格为6时 的商品需求量.需求量10075807050659010011060收入10006001200500300400130011001300300价格5766875439选择纯二次模型，即 2222211122110 xxxxy法一法一 直接用多元二项式回归：x1=1000 600 1200 500 30

23、0 400 1300 1100 1300 300;x2=5 7 6 6 8 7 5 4 3 9;y=100 75 80 70 50 65 90 100 110 60;x=x1 x2;rstool(x,y,purequadratic)1/14/202335 在画面左下方的下拉式菜单中选”all”,则beta、rmse和residuals都传送到Matlab工作区中.在左边图形下方的方框中输入1000，右边图形下方的方框中输入6。则画面左边的“Predicted Y”下方的数据变为88.47981，即预测出平均收入为1000、价格为6时的商品需求量为88.4791.1/14/202336在Matl

24、ab工作区中输入命令：beta,rmse得结果：beta=110.5313 0.1464 -26.5709 -0.0001 1.8475 rmse=4.5362故回归模型为：2221218475.10001.05709.261464.05313.110 xxxxy剩余标准差为 4.5362,说明此回归模型的显著性较好.1/14/202337X=ones(10,1)x1 x2(x1.2)(x2.2);b,bint,r,rint,stats=regress(y,X);b,stats结果为:b=110.5313 0.1464 -26.5709 -0.0001 1.8475 stats=0.9702

25、40.6656 0.0005法二法二 2222211122110 xxxxy将 化为多元线性回归：1/14/202338非线性回非线性回 归归（1）确定回归系数的命令：beta，r，J=nlinfit（x，y，model,beta0）（2）非线性回归命令：nlintool（x，y，model,beta0，alpha）1、回归：、回归：残差Jacobian矩阵回归系数的初值是事先用m-文件定义的非线性函数估计出的回归系数输入数据x、y分别为 矩阵和n维列向量，对一元非线性回归，x为n维列向量。mn2、预测和预测误差估计：、预测和预测误差估计：Y，DELTA=nlpredci（model,x，be

26、ta，r，J）求nlinfit 或nlintool所得的回归函数在x处的预测值Y及预测值的显著性为1-alpha的置信区间Y DELTA.1/14/202339例例 4 对第一节例2，求解如下：1、对将要拟合的非线性模型 y=axbe/，建立 m-文件 volum.m 如下：function yhat=volum(beta,x)yhat=beta(1)*exp(beta(2)./x);2、输入数据：x=2:16;y=6.42 8.20 9.58 9.5 9.7 10 9.93 9.99 10.49 10.59 10.60 10.80 10.60 10.90 10.76;beta0=8 2;3、

27、求回归系数：beta,r,J=nlinfit(x,y,volum,beta0)；beta得结果：beta=11.6036 -1.0641即得回归模型为：xey10641.16036.111/14/202340逐逐 步步 回回 归归逐步回归的命令是：stepwise（x，y，inmodel，alpha）运行stepwise命令时产生三个图形窗口：Stepwise Plot，Stepwise Table，Stepwise History.在Stepwise Plot窗口，显示出各项的回归系数及其置信区间.Stepwise Table 窗口中列出了一个统计表，包括回归系数及其置信区间，以及模型的统计

28、量剩余标准差（RMSE）、相关系数（R-square）、F值、与F对应的概率P.矩阵的列数的指标，给出初始模型中包括的子集（缺省时设定为全部自变量）显著性水平（缺省时为0.5）自变量数据,阶矩阵mn因变量数据，阶矩阵1n1/14/202341例例6 水泥凝固时放出的热量y与水泥中4种化学成分x1、x2、x3、x4 有关，今测得一组数据如下，试用逐步回归法确定一个 线性模 型.序号12345678910111213x17111117113122111110 x226295631525571315447406668x3615886917221842398x460522047332264422263

29、41212y78.574.3104.387.695.9109.2102.772.593.1115.983.8113.3109.41、数据输入：、数据输入：x1=7 1 11 11 7 11 3 1 2 21 1 11 10;x2=26 29 56 31 52 55 71 31 54 47 40 66 68;x3=6 15 8 8 6 9 17 22 18 4 23 9 8;x4=60 52 20 47 33 22 6 44 22 26 34 12 12;y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.

30、4;x=x1 x2 x3 x4;1/14/2023422、逐步回归：、逐步回归：（1）先在初始模型中取全部自变量：）先在初始模型中取全部自变量：stepwise(x,y)得图Stepwise Plot 和表Stepwise Table图图Stepwise Plot中四条直线都是虚中四条直线都是虚线，说明模型的显著性不好线，说明模型的显著性不好从表从表Stepwise Table中看出变中看出变量量x3和和x4的显著性最差的显著性最差.1/14/202343（2）在图）在图Stepwise Plot中点击直线中点击直线3和直线和直线4，移去变量，移去变量x3和和x4移去变量移去变量x3和和x4后

31、模型具有显著性后模型具有显著性.虽然剩余标准差（虽然剩余标准差（RMSE）没）没有太大的变化，但是统计量有太大的变化，但是统计量F的的值明显增大，因此新的回归模型值明显增大，因此新的回归模型更好更好.1/14/202344（3）对变量）对变量y和和x1、x2作线性回归：作线性回归：X=ones(13,1)x1 x2;b=regress(y,X)得结果：b=52.5773 1.4683 0.6623故最终模型为：y=52.5773+1.4683x1+0.6623x21/14/2023451、考察温度x对产量y的影响，测得下列10组数据：温度（）20253035404550556065产量（kg）

32、13.215.116.417.117.918.719.621.222.524.3求y关于x的线性回归方程，检验回归效果是否显著，并预测x=42时产量的估值及预测区间（置信度95%）.2、某零件上有一段曲线，为了在程序控制机床上加工这一零件，需要求这段曲线的解析表达式，在曲线横坐标xi处测得纵坐标yi共11对数据如下：xi02468101214161820yi0.62.04.47.511.817.123.331.239.649.761.7求这段曲线的纵坐标y关于横坐标x的二次多项式回归方程.p 经常不断地学习,你就什么都知道。你知道得越多,你就越有力量p Study Constantly,And You Will Know Everything.The More You Know,The More Powerful You Will Be写在最后谢谢你的到来学习并没有结束，希望大家继续努力Learning Is Not Over.I Hope You Will Continue To Work Hard演讲人：XXXXXX 时 间：XX年XX月XX日