1、regression analysis 11/26/20221本章内容本章内容7 回归分析11/26/202227.1 变量间的关系Correlation between Variables7 回归分析11/26/20223tPstresssin1007.1 变量间的关系(1)函数关系11/26/202247.1 变量间的关系(2)随机关系20,stressPN11/26/20225(3)相关关系7.1 变量间的关系2100 sin0,stressPtN11/26/20226(4)回归分析解决的问题 考察响应变量与自变量之间的关系，存在如下三种类型：(1)确定性关系：响应=自变量的函数(2)不
2、确定关系：响应=独立随机变量(3)相关关系：响应=函数+独立随机变量回归分析就是对中的函数部分进行估计和检验7.1 变量间的关系11/26/20227 生物学家FGalton和统计学家KPearson的种族身高研究(1889)。高个父亲群体的平均身高高个父亲群体儿子们的平均身高整个种族的平均身高低个父亲群体儿子们的平均身高低个父亲群体的平均身高(5)为什么称作“回归分析”7.1 变量间的关系11/26/20228(6)回归分析类型非线性回归线性回归多元回归非线性回归线性回归一元回归回归分析一元回归：只有一个自变量的回归多元回归：有两个以上自变量的回归线性回归：回归函数是自变量的线性组合非线性回
3、归：回归函数是自变量的非线性组合7.1 变量间的关系11/26/202297.2 一元线性回归Linear Regression 7 回归分析11/26/202210：某特种钢抗拉强度试验，控制某稀有金属含量x测得不同抗拉强度y，试验结果如表所示。：(1)估计y对x的回归函数；(2)检验回归估计的显著性；(3)考察y与x的相关程度；(4)由x预测y。抗拉强度试验结果(1)案例和问题7.2 一元线性回归x(%)y(MPa)2.073.104.145.176.20128194273372454x称作自变量y称作响应变量11/26/202211(2)数据模式7.2 一元线性回归抗拉强度试验结果x(%
4、)y(MPa)2.073.104.145.176.20128194273372454随机的试验响应非随机人工控制变量11/26/202212xabxy自变量，一般为可控非随机变量；回归函数或回归方程；响应或因变量，总被看作随机变量。200yf xabxEVar(3)回归模型7.2 一元线性回归回归模型指响应与自变量关系的数学表达回归模型描述响应y与自变量x的关系模型对 的分布没有特别要求11/26/202213niVarEbxayiiiiii,2,1)(00)(2独立同分布；诸用线性回归模型描述第i次观测响应yi与自变量xi的关系：7.2 一元线性回归(3)回归模型回归模型指响应与自变量关系的
5、数学表达一元线性回回模型11/26/202214 2ECovny=X+e(e)=0e=I；以矩阵形式表达线性回归模型：7.2 一元线性回归(3)回归模型111222111nnnyxeyxeabyxe yXe响应向量设计矩阵回归参数误差向量11/26/202215 2ECovny=X+e(e)=0e=I；7.2 一元线性回归(3)回归模型 11121,21222,1,2,100010001nnnnn nn nCovneI n阶协差阵n阶单位阵以矩阵形式表达线性回归模型：11/26/202216(4)回归分析内容 yabxf xabx7.2 一元线性回归 2345回归分析的主要工作归纳如下：(1)
6、求回归系数、的估计：、2 求回归方程的估计：检验回归方程的显著性检验回归系数 的显著性求度量 与 相关程度的决定系数6 求响应 的点估计 预测 和区间估计 预测abababxabxabxbyxRy11/26/2022177.2.1 回归最小二乘估计Least-Square Estimation on Linear Regression7.2 一元线性回归11/26/202218 bxaxfxbay的估计回归截距回归系数yyab bxayE对于回归方程回归方程的估计记作 回归估计实际上是由样本数据求得回归方程的一个估计，回归方程的估计亦简称作回归方程。求一元回归方程等价于对回归系数和回归截距进行
7、参数估计。(1)回归估计问题7.2.1 回归最小二乘估计回归方程估计的期望：11/26/202219(2)最小二乘思想7.2.1 回归最小二乘估计yyxiy iyyyiiiyy yyyyyyiiiimin2ii最小二乘几何描述iiyyabxy11/26/202220 求回归方程的估计，数学上就是用一个去拟合试验数据，几何上可看作为试验点拟合一条。可拟合的直线有无穷多条，哪一条直线在表达y对x的相关关系上更合理呢？自然想到与所有试验点的那条线较合理。(2)最小二乘思想7.2.1 回归最小二乘估计合理解决方案 11/26/202221iiibxayiiibxayniinii121|2,1:,1,2
8、,nia biiiiiMinQsubject toyabxx yin；回归方程的最小二乘估计可归结为求解下面的优化模型：用残差(误差)平方和代表试验点与回归直线的总距离残差计算：(2)最小二乘思想7.2.1 回归最小二乘估计11/26/2022222211nniiiiiQyabxniiibabxayMinba12,步骤步骤1：构建由观测数据表达的残差平方和回归最小二乘估计问题可表为：(3)回归最小二乘估计7.2.1 回归最小二乘估计残差平方和11/26/202223niiiiininiiibxaybxayabxayaaQ121122niiiiiininiiixbxaybxaybbxaybbQ1
9、21122步骤步骤2：残差平方和分别对a,b求偏导7.2.1 回归最小二乘估计(3)回归最小二乘估计2220Qna22220QnAb11/26/202224ybxaxbanyxbaybbaaaQniiniiniii002,0111即niiiniiniiniiniiiiniiiyxbxaxnxbxayxxxbaybbaabQ11212111002,0即niixnx11niiyny117.2.1 回归最小二乘估计(3)回归最小二乘估计11/26/2022252axbynxaxbxy1=ni niixx122niiiyxxy1符号简写：步骤步骤3：令偏导等于0整理出正规方程组7.2.1 回归最小二乘
10、估计(3)回归最小二乘估计正规方程组11/26/20222601222xnxxxnx则下面的正规方程组有唯一解(克莱姆法则)：xybxaxnybxa2步骤步骤4：用克莱姆法则解方程组得回归估计7.2.1 回归最小二乘估计若有(3)回归最小二乘估计克莱姆法则11/26/202227克莱姆法则 222222111xynxxyxynxybxnxxnxxyxySPnSSxxn7.2.1 回归最小二乘估计(3)回归最小二乘估计11/26/202228222222222222yxxyxyxxxyaxnxxnxyxnxxynxyxxnxxnxybx7.2.1 回归最小二乘估计克莱姆法则(3)回归最小二乘估计
11、11/26/202229 2211xxSPxyxynSSxxnSPbSSaybx校正乘积和校正平方和回归系数估计回归截距估计yabx回归方程(4)回归最小二乘估计概要7.2.1 回归最小二乘估计11/26/202230(5)回归最小二乘估计的性质7.2.1 回归最小二乘估计2(1)min(2)0(3)yyyyxxyy当时有,yabxaybxxxyyx y比较和，若则即点在回归直线上11/26/202231xy2.073.104.145.176.20128194273372454数据乘积和Total xy=6734.62数据和数据平方和20.6896.203414214730497.2.1 回归
12、最小二乘估计(6)回归最小二乘估计案例数据的表格算法11/26/202232136.468.20511xnx364.857142168.205162.6734SP2.2841421511yny67092.1068.20512034.962xSS7.2.1 回归最小二乘估计平方和计算(6)回归最小二乘估计案例11/26/202233346.8067092.10364.857xSSSPbxy345.80111.48回归方程：111.48136.4346.802.284xbya7.2.1 回归最小二乘估计参数估计(6)回归最小二乘估计案例11/26/2022347.2.1 回归最小二乘估计(6)回归
13、最小二乘估计案例 求回归方程几何上就是求一条能较好解释数据的最佳直线。11/26/2022357.2.2 回归显著性检验Significance Testing on Linear Regression7.2 一元线性回归11/26/2022367.2.2 回归显著性检验(1)线性相关存在性线性相关存在但相关程度不同11/26/202237(1)线性相关存在性7.2.2 回归显著性检验0RFModelErrorSSRSSE1n-2SSR/1SSE/(n-2)MSR/MSEpTotalSSTn-1一元线性回归方差分析表7.2.2 回归显著性检验显著性检验全部工作可归结于方差分析表SourceSS
14、dfMSF valueF(dfR,dfE)ModelErrorSSRSSE1n-2SSR/1SSE/(n-2)MSR/MSETotalSST n-1或：(10)显著性检验11/26/202258相关系数取值范围11102RRSSTSSR221xySSRSSESPRSSTSSTSSSS SSTSSRR决定系数7.2.2 回归显著性检验决定系数是对y与x线性相关程度的估计(11)线性相关程度11/26/202259SSTRSSSSSSSPSSSSSSSPSSSPSSSSSPSSbSSRyyxyyxxxxx2222227.2.2 回归显著性检验决定系数表征回归效应在响应总变异中的比重(11)线性相关
15、程度11/26/202260 xy2.073.104.145.176.20128194273372454数据乘积和Total xy=6734.62数据和数据平方和20.6896.20341421473049(12)回归分析案例7.2.2 回归显著性检验数据的表格算法11/26/20226122111421284.251120.684.13656734.6220.68 1421/5857.36496.203420.68/510.670924730491421/569200.8xyyynxxnSPSSSS7.2.2 回归显著性检验平方和计算(12)回归分析案例2220.6896.203414214
16、73049xxyy11/26/2022627.2.2 回归显著性检验(12)回归分析案例22222857.364 10.6709280.346284.280.3464.13648.1114730491421/569200.8857.36468885.6310.6709269200.868885.8315.17xyxxyxbSP SSaybxSSTSSSPSSRb SSSSSSESSSPSS 回归参数估计平方和计算11/26/202263SourceSSDFMSF valuePrFModelError68885.63315.171368885.63105.06655.680.000131Tota
17、l69200.84方差分析表9954.08.6920067092.10364.857222yxSSSSSPR计算决定系数：9954.08.6920063.688852SSTSSRR7.2.2 回归显著性检验(12)回归分析案例方差分析表和决定系数11/26/202264SourceSSDFMSF valueF0.05(1,3)ModelError68885.63315.171368885.63105.06655.6810.1280Total69200.84方差分析表9954.08.6920067092.10364.857222yxSSSSSPR计算决定系数：9954.08.6920063.688852SSTSSRR7.2.2 回归显著性检验(12)回归分析案例方差分析表和决定系数11/26/2022657.2.2 回归显著性检验(12)回归分析案例20.0001310.9954pR11/26/202266(13)回归分析小结一元线性回归分析可归结为：利用样本对回归方程a+bx做最小二乘估计，即做回归参数a,b的最小二乘估计；用右方F检验法和双侧t检验法分别检验回归方程和回归系数的显著性；计算决定系数R2，对响应y与自变量x的线性相关程度做出评价。7.2.2 回归显著性检验11/26/202267结束结束7 回归分析11/26/202268
