1、回归分析第六章第一节第一节 回归分析回归分析 测量与数据处理的目的并不在于被测量的估计值，测量与数据处理的目的并不在于被测量的估计值，而是为了寻求两个变量或多个变量之间的内在关系。而是为了寻求两个变量或多个变量之间的内在关系。表达变量之间关系的方法有散点图、表格、曲线、表达变量之间关系的方法有散点图、表格、曲线、数学表达式等，其中数学表达式能较客观地反映事物的数学表达式等，其中数学表达式能较客观地反映事物的内在规律性，形式紧凑，且便于从理论上作进一步分析内在规律性，形式紧凑，且便于从理论上作进一步分析研究。数学表达式的获得是通过回归分析方法完成的。研究。数学表达式的获得是通过回归分析方法完成的
2、。第一节第一节 回归分析回归分析 回归分析就是应用数学的方法回归分析就是应用数学的方法,对大量的观测数据进对大量的观测数据进行处理，从而得出比较符合事物内部规律的数学表达式。行处理，从而得出比较符合事物内部规律的数学表达式。回归分析回归分析(Regression Analysis)是英国生物学家兼是英国生物学家兼统计学家高尔顿统计学家高尔顿(Galton)在在1889年出版的年出版的自然遗传自然遗传一书中首先提出的。一书中首先提出的。回归分析是数理统计中的一个重要分支，在工农业回归分析是数理统计中的一个重要分支，在工农业生产和科学研究中有着广泛的应用。当今在实验数据生产和科学研究中有着广泛的应
3、用。当今在实验数据处理、经验公式的求得、因家分析、仪器的精度分析、处理、经验公式的求得、因家分析、仪器的精度分析、产品质量的控制、某些新标准的制定、气象及地震预产品质量的控制、某些新标准的制定、气象及地震预报、目动控制中的数学模型的制定及其他许多场合中，报、目动控制中的数学模型的制定及其他许多场合中，回归分析往往是一种很有用的工具。回归分析往往是一种很有用的工具。第二节第二节 一元线形回归一元线形回归 一元回归是处理两个变量之间的关系，即两个变一元回归是处理两个变量之间的关系，即两个变量量x和和y之间若存在一定的关系，则通过试验，分析之间若存在一定的关系，则通过试验，分析所得数据，找出两者之间
4、关系的经验公式。假如两所得数据，找出两者之间关系的经验公式。假如两个变量之间的关系是线性的就称为一元线性回归，个变量之间的关系是线性的就称为一元线性回归，这就是工程上和科研中常遇到的直线拟合问题。这就是工程上和科研中常遇到的直线拟合问题。例题 测量某导线在一定温度测量某导线在一定温度x下的电阻值下的电阻值y如表中所示，如表中所示，试找出它们之间的内在关系。试找出它们之间的内在关系。分析：分析：最小二乘法最小二乘法回归方程的稳定性 回归方程的稳定性是指回归值的波动大小，被动愈回归方程的稳定性是指回归值的波动大小，被动愈小，回归方程的稳定性愈好。小，回归方程的稳定性愈好。的波动大小用的波动大小用
5、的标准的标准差差 来表示。来表示。=0=Q回归方程的方差分析总的离差平方和总的离差平方和=U回归方程的方差分析回归方程的方差分析=N-1=1=N-2自由度自由度回归方程显著性检验 由回归平方和与残余平方和的意义可知：一个回归由回归平方和与残余平方和的意义可知：一个回归方程是否显著，也就是方程是否显著，也就是y与与x的线性关系是否密切，取决的线性关系是否密切，取决于于U及及Q的大小，的大小，U愈大愈大Q愈小说明愈小说明y与与x的线性关系愈密的线性关系愈密切。切。回归方程显著性检验通常采用回归方程显著性检验通常采用F检验法检验法。残余方差与残余标准差残余方差：残余方差：残余标准差：残余标准差：方差
6、分析表重复试验 为了检验一个回归方程拟合得好坏，可以做些重复为了检验一个回归方程拟合得好坏，可以做些重复试验，从而获得试验，从而获得误差平方和误差平方和QE和和失拟平方和失拟平方和QL(它反映它反映了非线性及其它未加控制的因素的影响了非线性及其它未加控制的因素的影响)，用误差平方和，用误差平方和对失拟平方和进行对失拟平方和进行F检验检验,就可以确定回归方程拟合得好就可以确定回归方程拟合得好坏。坏。例题 用标准压力计对莱固体压力传感器进行检定，检用标准压力计对莱固体压力传感器进行检定，检定所得数据如表所示定所得数据如表所示.表中表中xt为标准压力，为标准压力，yti为传感器为传感器输出电压，输出
7、电压，yt为四次读数的算术平均值。试对仪器定为四次读数的算术平均值。试对仪器定标并分折仪器的误差。标并分折仪器的误差。重复试验 在一般情况下，重复试验可将误差平方和与失拟在一般情况下，重复试验可将误差平方和与失拟平方和从残余平方和中分离出来，这对统计分析是有平方和从残余平方和中分离出来，这对统计分析是有好处的。同时，在精密测试仪器中，通常失拟平方和好处的。同时，在精密测试仪器中，通常失拟平方和及误差平方和分别与仪器的原理误差及误差平方和分别与仪器的原理误差(定标误差、非定标误差、非线性误差线性误差)及仪器的随机误差相对应。及仪器的随机误差相对应。应用这种方法可以将系统误差与随机误差分离开应用这
8、种方法可以将系统误差与随机误差分离开来，并可用回归分析方法进一步找出仪器的误差方程，来，并可用回归分析方法进一步找出仪器的误差方程，从而可以对仪器的误差进行修正。从而可以对仪器的误差进行修正。回归直线的简便求法分组法分组法:用分组法求回归方程用分组法求回归方程 中的系数中的系数 和和 的具体作法是：将自变量数据按由小到大的次序安排，的具体作法是：将自变量数据按由小到大的次序安排，分成个数相等或近于相等的两个组分成个数相等或近于相等的两个组:第一组为第一组为 第二组为第二组为例题 测量某导线在一定温度测量某导线在一定温度x下的电阻值下的电阻值y如表中所示，如表中所示，用分组法求回归方程。用分组法
9、求回归方程。回归直线的简便求法图解法图解法:把把N对观测数据于坐标纸上画出散点图，假如画出对观测数据于坐标纸上画出散点图，假如画出的点群形成一直线带，就在点群中画一条直线，使得的点群形成一直线带，就在点群中画一条直线，使得多数点位于直线上或接近此线并均匀地分布在直线的多数点位于直线上或接近此线并均匀地分布在直线的两边。两边。这条直线可以近似地作为回归直线，回归系数可这条直线可以近似地作为回归直线，回归系数可以直接由图中求得。利用此直线也可在坐标纸上直接以直接由图中求得。利用此直线也可在坐标纸上直接进行预报。进行预报。由于作图时完全凭经验画直线，主观性较大，精由于作图时完全凭经验画直线，主观性较
10、大，精度较低，但此法非常简单，精度要求不高时可采用。度较低，但此法非常简单，精度要求不高时可采用。例题 用用x光机检查镁合金焊接件及铸件内部缺陷时为光机检查镁合金焊接件及铸件内部缺陷时为达到最佳灵敏度，透照电压达到最佳灵敏度，透照电压y应随被透照件厚度应随被透照件厚度x而改变。而改变。经试验得如下一组数据经试验得如下一组数据:第三节 两个变量都具有误差时线性回归方程的确定 上面用最小二乘法求得的回归方程上面用最小二乘法求得的回归方程,一般认为是最一般认为是最佳的，但它是假设佳的，但它是假设x是没有误差或误差可以忽略的，其是没有误差或误差可以忽略的，其所有误差都归结在所有误差都归结在y方向。方向
11、。然而，然而，x的测量也可能是不精确的，存在试验误差。的测量也可能是不精确的，存在试验误差。现在我们考察另一种极端情况现在我们考察另一种极端情况,即即y没有误差，而所有误没有误差，而所有误差都归结于差都归结于x。在这种情况下，一元线性回归方程的数。在这种情况下，一元线性回归方程的数学模型是学模型是戴明(Deming)解法 若若 分别具有误差分别具有误差 假定假定 之间为线性关系，其数学模型为之间为线性关系，其数学模型为例题通过试验测量某量通过试验测量某量x、y的结果如下：的结果如下：由重复测量已估计出由重复测量已估计出 ，即，即 ，试求，试求y对对x的回归直线方程的回归直线方程.第四节 一元非
12、线性回归 在实际问题中，有时两个变量之间的内在关系并不在实际问题中，有时两个变量之间的内在关系并不是线性关系，而是某种曲线关系这时若求所需的回归是线性关系，而是某种曲线关系这时若求所需的回归线，一般地说，可以分两步进行：线，一般地说，可以分两步进行：确定函数类型确定函数类型;求解相关函数中的未知参数。求解相关函数中的未知参数。用最小二乘法直接求解非线性回归方程是非常复杂用最小二乘法直接求解非线性回归方程是非常复杂的，通常是通过变量代换把回归曲线转换成回归直线，的，通常是通过变量代换把回归曲线转换成回归直线，继而用前面给出的方法求解；或者把回归曲线展成回归继而用前面给出的方法求解；或者把回归曲线
13、展成回归多项式，直接用回归多项式来描述两个变量之间的关系。多项式，直接用回归多项式来描述两个变量之间的关系。回归曲线函数类型的选取和检验直接判断直接判断法法:观察法观察法:回归曲线函数类型的选取和检验直线检验法直线检验法:将预选的回归曲线将预选的回归曲线f(x,y,a,b)=0 写成写成Z1=A+BZ2求出几对与求出几对与x、y相对应的相对应的Z1和和Z2的值，这几对值的值，这几对值以选择以选择x、y值相距较远为好。值相距较远为好。以以Z1和和Z2为变量画图，若所得图形为一直线，则为变量画图，若所得图形为一直线，则证明原先所选定的回归曲线类型是合适的。证明原先所选定的回归曲线类型是合适的。例题
14、用直线检验法说明下列一组数据是否可用用直线检验法说明下列一组数据是否可用 表示表示.回归曲线函数类型的选取和检验表差法表差法:用试验数据画图。用试验数据画图。自图上根据定差自图上根据定差 ，列出，列出 各对应值。各对应值。根据根据 的读出值作出差值的读出值作出差值 ，而，而例题检验表中所示观测数据是否可用检验表中所示观测数据是否可用 表示。表示。化曲线回归为直线回归问题 为了测定椭圆齿轮流量计在介质粘度变化时的误为了测定椭圆齿轮流量计在介质粘度变化时的误差，先测定差，先测定10号变压器油的粘度号变压器油的粘度y与温度与温度x的变化曲线，的变化曲线，以便试验时测出油温就可以知道粘度。通过试验获得
15、以便试验时测出油温就可以知道粘度。通过试验获得如下一组数据：如下一组数据：回归曲线方程的效果与精度第五节 多元线性回归第五节 多元线性回归第五节 多元线性回归第五节 多元线性回归第五节 多元线性回归第五节 多元线性回归第五节 多元线性回归回归方程的显著性和精度每个自变量在多元回归中所起的作用偏回归平方和偏回归平方和 一般地说，由于各自变量之间可能有密切的相关一般地说，由于各自变量之间可能有密切的相关关系，所以一般地不能按偏回归平方和的大小，把一关系，所以一般地不能按偏回归平方和的大小，把一个回归中的所有自变量对因变量的重要性大小进行逐个回归中的所有自变量对因变量的重要性大小进行逐个排列。通常在
16、计算偏回归平方和以后，对各因素的个排列。通常在计算偏回归平方和以后，对各因素的分析可按一定步骤进行分析可按一定步骤进行.每个自变量在多元回归中所起的作用凡是偏回归平方和大的变量，一定是对凡是偏回归平方和大的变量，一定是对y有重要影有重要影响的因素。可用残余平方和对它进行响的因素。可用残余平方和对它进行F检验。检验。凡是偏回归平方和小的变量，却并不一定不显著。凡是偏回归平方和小的变量，却并不一定不显著。但可以肯定，偏回归平方和最小的那个变量，必是所但可以肯定，偏回归平方和最小的那个变量，必是所有变量中对有变量中对y作用最小的一个，假如此时变量检验结作用最小的一个，假如此时变量检验结果又不显著，那
17、就可以将该变量剔除。果又不显著，那就可以将该变量剔除。第六节 线性递推回归 在动态测量中，数据往往是循序测出的，而且有的在动态测量中，数据往往是循序测出的，而且有的要求进行实时处理，即每获得一个新数据，就要及时解要求进行实时处理，即每获得一个新数据，就要及时解算出回归方程新的系数，计算工作量大。所以数据积累算出回归方程新的系数，计算工作量大。所以数据积累的越多，实时性越差。的越多，实时性越差。采用采用递推算法递推算法是解决上述问题的是解决上述问题的最佳方法。最佳方法。递推算法的基本思想递推算法的基本思想：首先根据初始的测量数据。：首先根据初始的测量数据。计算出回归系数初始值；新增加一组数据后，
18、计算出新计算出回归系数初始值；新增加一组数据后，计算出新增数据带来的回归系数增量，回归系数初始值加上其增增数据带来的回归系数增量，回归系数初始值加上其增量就是回归系数新的解；再增加新数据时，按此法类推量就是回归系数新的解；再增加新数据时，按此法类推解算。由于回归系数增量的计算工作量较少，而且无重解算。由于回归系数增量的计算工作量较少，而且无重复性计算，提高了计算速度。复性计算，提高了计算速度。回归系数的递推计算公式新增加的一个测量值后，新的系数矩阵为新增加的一个测量值后，新的系数矩阵为:回归系数的递推计算公式回归系数递推公式回归系数递推公式:回归系数的递推计算步骤1计算计算b和和c的初始值的初始值2计算计算3计算计算回归系数矩阵回归系数矩阵4重复第重复第2、第、第3步，直至数据采样结束，这样把每步，直至数据采样结束，这样把每增加一组数据后的回归方程系数全部解算出来。增加一组数据后的回归方程系数全部解算出来。
