多元线性回归和非线性回归-PPT课件.ppt

1、ppxxxy2211022110)(xxyE1.表示 保持不变时，每变动一个单位时的相应变化量.2.表示 保持不变时，每变动一个单位时的相应变化量.21x1x)(yE22110 xxy考虑二元线性回归模型12x2x)(yE22110 xxy22110)(xxyEp210,p,210ppxxxy22110p,210p,210y 最小niiniiipeyyQ1212210)(),()21(00000piQQiii，p,210例例1 1 生产总值是衡量一个国家地区经济发展的重要指标，影响一个国家或地区生产总值的因素包括资本、资源、科技、劳动力、进出口、国家基础设施建设等方面的因素。本例研究财政支出对

2、生产总值的影响。中国统计年鉴把财政支出划分为31个组成部分，本例只选取其中的13个重要支出项。CoefficientsCoefficientsa a-41229015612697.85-.735.473-25.70210.068-.329-2.553.02126.74217.374.2081.539.142-5.87861.983-.012-.095.926-95.66853.414-.281-1.791.091-42.28888.078-.074-.480.63711.72474.489.014.157.877-187.532273.188-.044-.686.50250.28014.018

3、.6783.587.002-58.082187.596-.047-.310.761-81.72643.642-.302-1.873.07846.79123.185.4232.018.06054.81739.303.4491.395.18141.12314.674.2732.802.012(Constant)x1x2x3x4x5x6x7x8x9x10 x11x12x13Model1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable:ya.回归系数表用spss软件计算的回归系

4、数如下：123456789101112134122901 25.70226.7415.87895.66842.28811.724187.53250.28058.08281.72646.79154.81741.123yxxxxxxxxxxxxx 对多元回归，总方差同样可分解成如下形式SSRSSESST则决定系数为(12.6)SSTSSESSTSSRyyyyRniinii112122(12.7)多重决定系数反映样本回归方程的拟合好坏程度，R 愈大，说明样本回归方程拟合得愈好。显然，.而称 y 关于 的样本复相关系数，R 的大小可以反映作为一个整体的与 y 的线性相关的密切程度.102 R2121)

5、()(yyyySSTSSRRniiniipxxx,21pxxx,2111)1(1)1/()()1/()(1221122pnnRnyypnyyRniiniii 由于样本多重判定系数的分母 SST 对给定的样本数据是不变的，而 SSR 与引进回归方程的自变量个数有关.因此，应对 R 作调整，调整的样本多重判定系数为(12.8)MSEpnSSEpnyySniiie1112)1,()1()1(1212pnpFpnyypyypnSSEpSSRFniinii前面的这些计算结果可以列成表格的形式，称为方差分析表.方差分析表)1/(/pnSSEpSSRF)1,(pnpF1xANOVAANOVAb b8.78E

6、+016136.753E+01584.258.000a1.36E+015178.015E+0138.92E+01630RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors:(Constant),x13,x7,x2,x9,x6,x1,x3,x11,x5,x4,x10,x8,x12a.Dependent Variable:yb.表中的Sig即为显著性P值，由P值0.000（近似值）可知回归方程十分显著。即可以以99.9以上的概率断言所有自变量全体对因变量产生显著线性影响。对例对例1回归方程的检验回归方程的检验:

7、)1(pntStiiispnti2)1(2xxssiei对回归系数的检验:CoefficientsCoefficientsa a-41229015612697.85-.735.473-25.70210.068-.329-2.553.02126.74217.374.2081.539.142-5.87861.983-.012-.095.926-95.66853.414-.281-1.791.091-42.28888.078-.074-.480.63711.72474.489.014.157.877-187.532273.188-.044-.686.50250.28014.018.6783.587.

8、002-58.082187.596-.047-.310.761-81.72643.642-.302-1.873.07846.79123.185.4232.018.06054.81739.303.4491.395.18141.12314.674.2732.802.012(Constant)基本建设支出改造资金科技三项费用农业支出农林等部门事业费工交部门事业费流动部门事业费教育事业费科学事业费卫生事业费行政管理费公检法司支出城市维护费Model1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependen

9、t Variable:生产总值a.剔除 x3科技三项费 后：CoefficientsCoefficientsa a-41548855446144.26-.763.455-25.4979.557-.326-2.668.01626.89116.821.2091.599.127-95.43851.869-.280-1.840.082-44.71281.932-.079-.546.5928.12262.282.010.130.898-179.053250.935-.042-.714.48550.47013.485.6803.743.001-60.391180.817-.049-.334.742-80.

10、24339.609-.296-2.026.05847.02222.413.4252.098.05053.23034.567.4361.540.14140.62413.318.2703.050.007(Constant)基本建设支出改造资金农业支出农林等部门事业费工交部门事业费流动部门事业费教育事业费科学事业费卫生事业费行政管理费公检法司支出城市维护费Model1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable:生产总值a.CoefficientsCoefficients

11、a a-42863285211760.28-.822.421-25.1678.976-.322-2.804.01126.51816.141.2061.643.117-91.19739.346-.268-2.318.032-46.75978.306-.082-.597.557-179.366244.347-.042-.734.47250.59913.097.6823.864.001-66.501170.062-.054-.391.700-80.01038.531-.295-2.077.05245.95220.311.4152.262.03654.73831.722.4481.726.10140.

12、14312.460.2673.222.004(Constant)基本建设支出改造资金农业支出农林等部门事业费流动部门事业费教育事业费科学事业费卫生事业费行政管理费公检法司支出城市维护费Model1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable:生产总值a.CoefficientsCoefficientsa a-37120144554130.63-.815.424-26.7787.522-.342-3.560.00228.31111.817.2202.396.026-1

13、01.27634.646-.297-2.923.00849.19411.897.6634.135.000-73.62922.303-.272-3.301.00349.94617.028.4512.933.00832.46215.730.2662.064.05145.5859.140.3034.987.000(Constant)x1x2x4x8x10 x11x12x13Model1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable:ya.水文研究中水文研究中X X和和Y Y

14、的数量关系常常不是的数量关系常常不是线性的，如线性的，如洪峰流量与流域面积洪峰流量与流域面积之间。如之间。如果用线性描述将丢失大量信息，甚至得出果用线性描述将丢失大量信息，甚至得出错误结论。这时可以用错误结论。这时可以用曲线估计曲线估计（Curve Curve estimationestimation）或）或非线性回归非线性回归(Nonlinear(Nonlinear regression)regression)方法分析。方法分析。本部分仅就一元非线性回归问题，讨本部分仅就一元非线性回归问题，讨论其参数估计。论其参数估计。一元非线性回归方程参数估计的常用方法：一元非线性回归方程参数估计的常用方

15、法：1，最简单最常用的方法2，通过对变量作适当变换，将原变量的非线性关 系转化为新变量的线性关系，建立起线性回归方程，然后再还原为原变量，这样建立曲线回归方程的方法称为线性化法。3，首先，要确定非线性函数的类型，然后再考虑能否通过变量变换的方法使之线性化。4，如何确定非线性函数的类型？专业知识和经验 数学方法：散点图 下面列出一些常用的非线性函数的线性化变换，如果实测数据的散点图大致围绕下列的某一曲线散布，就可采用与之相应的变换，使其转化为线性问题。双曲线型指数曲线型幂函数型对数曲线型S曲线型绘制散点图，根据图形和专业知识选取曲线类绘制散点图，根据图形和专业知识选取曲线类型（可同时选取几类）型

16、（可同时选取几类）按曲线类型，作曲线直线化变换按曲线类型，作曲线直线化变换建立直线化的直线回归方程；作假设检验，计建立直线化的直线回归方程；作假设检验，计算决定系数算决定系数将变量还原，写出用原变量表达的曲线方程将变量还原，写出用原变量表达的曲线方程比较决定系数选取比较决定系数选取“最佳最佳”曲线方程曲线方程YYY回归方程为：回归方程为：=19.7451+7.7771lnX=19.7451+7.7771lnX方差分析有统计学意义，方差分析有统计学意义，P P0.00000.0000，F F763.50763.50，表明回归方程有意义。，表明回归方程有意义。确定系数为确定系数为0.990.99，

17、表明回归拟合原资，表明回归拟合原资料很好。料很好。Y类似于建立线性回归方程的方法，根据类似于建立线性回归方程的方法，根据x,yx,y的原始的原始观测资料，依据最小二乘法原理，直接寻求方程中观测资料，依据最小二乘法原理，直接寻求方程中未知参数的最小二乘估计。未知参数的最小二乘估计。对于非线性回归，由于回归方程是非线性函数，对于非线性回归，由于回归方程是非线性函数，其正规方程组一般是超越方程（非代数方程），其正规方程组一般是超越方程（非代数方程），不不能用代数方法求解，能用代数方法求解，只能用数值解法，迭代计算出只能用数值解法，迭代计算出其近似解。其近似解。01020304050600204060

18、80住院天数X预后指数Y指数曲线指数曲线012345020406080住院天数（天）X预后指数的对数lnYYln回归方程为：回归方程为：4.037-0.0384.037-0.038X X方差分析有统计学意义，方差分析有统计学意义，P P0.00000.0000，F F276.38276.38，表明回归方程有贡献。，表明回归方程有贡献。确定系数为确定系数为0.95510.9551，表明回归拟合原，表明回归拟合原资料较好。资料较好。转换为原方程的另一种形式：转换为原方程的另一种形式：XXeeY038.0)038.0037.4(665.56XXeYeY0396.0038.06066.58;665.5

19、6XXeYeY0396.0038.06066.58;665.56比较两个回归方程可见，对同一份样本比较两个回归方程可见，对同一份样本采用不同估计方法得到的结果并不相同。采用不同估计方法得到的结果并不相同。主要因为曲线直线化以后的回归只对变主要因为曲线直线化以后的回归只对变换后的换后的Y Y*(lnY)lnY)负责负责,得到的线性方程得到的线性方程可使可使Y Y*与其估计值与其估计值 之间的残差平方和最之间的残差平方和最小小,并不保证原变量并不保证原变量Y Y与其估计值与其估计值 之间的之间的残差平方和也是最小。残差平方和也是最小。*YYY曲线直线化曲线直线化 非线性最小二乘法非线性最小二乘法1

20、 1，线性化方法与直接最小二乘法是建立曲线回归方程的，线性化方法与直接最小二乘法是建立曲线回归方程的基基本方法本方法。2 2，线性化方法：，线性化方法：优点：计算方便优点：计算方便缺点：误差较大。只能保证对变换后的回归方程满足总误缺点：误差较大。只能保证对变换后的回归方程满足总误差平方和最小，而差平方和最小，而不能保证还原后的回归方程的误差平方和不能保证还原后的回归方程的误差平方和最小最小。3 3，直接最小二乘法，直接最小二乘法优点：精度较高优点：精度较高缺点：计算量太大缺点：计算量太大4 4，二步法：将这两种方法结合起来。具体是先用线性化方，二步法：将这两种方法结合起来。具体是先用线性化方法求出曲线方程线性化过程中无须变换的参数的最小二乘估法求出曲线方程线性化过程中无须变换的参数的最小二乘估计，再用直接最小二乘法求线性化过程中必须变换的参数的计，再用直接最小二乘法求线性化过程中必须变换的参数的最小二乘估计。最小二乘估计。P260P2601 1，。2 2，描述，描述