1、精选PPT1 Lum 21th July 2005精选PPT2l一、基本概念l二、多元线性回归模型l三、非线性回归精选PPT31.两类关系确定性关系 e.g.圆的面积 非确定性关系 e.g.人的年龄x与血压Y的关系 细纱强度Y与原棉的纤维长度x1，纤维细度x2，纤维强度x32sr精选PPT4自变量X：可控变量（可精确测量）因变量Y：随机变量回归分析：研究两者之间的相关关系 12233kkYXXX2(0,)N精选PPT5l参数估计 parameter estimatel假设检验 hypothesis testingl预测预报 prediction精选PPT6 实际问题中，一个变量往往受到多个因变
2、量的影响，在线性回归模型中则表现为有多个解释变量。所谓多元线性回归是指描述一个因变量与二个以上的自变量之间线性关系的一种方法，这样的模型被称为多元线性回归模型。精选PPT7l1.多元线性回归模型及假设l2.参数估计l3.假设检验l4.预测预报l5.多元线性回归存在的问题l6.实例分析精选PPT8 精选PPT9精选PPT10精选PPT11精选PPT12精选PPT13精选PPT14 一般来说，由于多元的缘故，多元回归估计值的显著性检验的内容显然要复杂得多，具体说是检验的对象多、不同性质的问题多、难度大等。精选PPT15的假设检验。统计量来进行回归系数以下可用得统计量代替，未知。用标准化。一般有将列
3、的元素。行第的第）为（其中布，由前面知道：先要找出回归系数的分tkntcccNjjjjjjjjjjj)(tjjXX ),(2212精选PPT16备择假设。反之则反。拒绝原假设，接受判断：若，查表，得临界值给出显著水平根据样本计算提出假设：),(|t|)4()()3(0t)2(,.,2,1j 0:H 0:H )1(2/2/jjjjj1j0kntkntccckjjjjjj精选PPT17l回归系数的t检验，检验了各个解释变量Xj单独对应变量Y是否显著；我们还需要检验：所有解释变量联合在一起，是否对应变量Y也显著？l这即是下面所要进行的F-检验。精选PPT18以下用表格的形式列出变差、自由度、方差变差
4、来源平方和自由度方差源于回归K-1源于残差n-k总变差n-12)(YYESSi2)(iiYYRSS2)(YYTSSi)1/(kESS)1/(nTSS)/(knRSS精选PPT19。反之则反。接受备择假设拒绝原假设，判断：若，查表，得给出显著性水平计算统计量）选择、（根据样本）（不全为,),1()4();,1()3(),1()/()1/(20,.,:H 0.:)1(321320knkFFknkFknkFknRSSkESSFHkk精选PPT20l4.1 因变量平均值的点预测、区间预测l4.2 因变量个别值的点预测、区间预测精选PPT21l4.1.1 Y平均值的点预测 将解释变量预测值代入估计的方程
5、便可：F33221.XYXXXYFFkkFFF或者精选PPT22l基本思想均有关的统计量。和以及找出与的抽样分布，的平均值）为此，需要确定预测（值作区间估计；还需要对真实平均不一定等于真实平均值也是个变量，测的平均值由于存在抽样波动，预)/(2);/()1(FFFFFFFXYEYYXYEY精选PPT23)()(),()()(1)()()()()(),()()()()()(1 ),(F2/FF2/FFF2/FFF2/F2/FFFF22222FFYsekntYYsekntYYEYsekntYYEYsekntYPkntkntYseYEYtYsexXXnYENYiF得区间估计：从而得到则：，查表得给出
6、临界值。构造统计量：，得代替用可证明：精选PPT24l4.2.1 点预测：与因变量平均值点预测相等，为：F33221.XYXXXYFFkkFFF或者精选PPT25（步骤方法完全同上），查表给定显著水平，构造统计量：代替用易证得：选取残差变量.)()(1)(0)(1,0(12212kntXXXXYYeseetXXXXNeYYeFFFFFFFFFFFF精选PPT26l5.1 样本容量问题l5.2 相对重要性l5.3 多重共线性问题l5.4 虚变量精选PPT27l最小样本容量最小样本容量：所谓所谓“最小样本容量最小样本容量”，即，即从最小二乘原理和最大似然原理出发，欲得从最小二乘原理和最大似然原理出
7、发，欲得到参数估计量，不管其质量如何，所要求的到参数估计量，不管其质量如何，所要求的样本容量的下限。样本容量的下限。l样本最小容量必须不少于模型中解释变量的样本最小容量必须不少于模型中解释变量的数目（包括常数项），即数目（包括常数项），即1 kn精选PPT28 虽然当虽然当 nk1时可以得到参数估计时可以得到参数估计量，但除了参数估计量质量不好以外，一些建量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。经验表立模型所必须的后续工作也无法进行。经验表明，当明，当nk 8时时 t 分布较为稳定，检验才较分布较为稳定，检验才较为有效。所以，一般经验认为，当为有效。所以，一般
8、经验认为，当n 30或者或者至少至少nk31()时，才能满足模型估计的基时，才能满足模型估计的基本要求。本要求。精选PPT29l在多元线性回归模型中，有时需要考察对于被在多元线性回归模型中，有时需要考察对于被解释变量来讲，哪个解释变量更重要，即需要解释变量来讲，哪个解释变量更重要，即需要比较各个解释变量的相对重要性，这可以通过比较各个解释变量的相对重要性，这可以通过简单相关系数、偏相关系数和复相关系数来考简单相关系数、偏相关系数和复相关系数来考察。如果各解释变量的计量单位不同，就不能察。如果各解释变量的计量单位不同，就不能直接应用偏回归系数进行比较，因为偏回归系直接应用偏回归系数进行比较，因为
9、偏回归系数的取值受解释变量计量单位的影响。我们需数的取值受解释变量计量单位的影响。我们需要对偏回归系数加以调整，以便进行多元回归要对偏回归系数加以调整，以便进行多元回归模型中各解释变量对被解释变量相对重要性的模型中各解释变量对被解释变量相对重要性的比较，如以下介绍的比较，如以下介绍的Beta系数、弹性系数。系数、弹性系数。精选PPT30精选PPT31 弹性系数的计算如下：弹性系数的计算如下：kjYXjj,2,1j表明表明在变量平均值周围在变量平均值周围,jX每变动每变动 1%,1%,将使将使Y变变动几动几%。其与解释变量的计量单位无任何关系，很适宜进行其与解释变量的计量单位无任何关系，很适宜进
10、行多元回归模型中各解释变量相对重要性的比较。多元回归模型中各解释变量相对重要性的比较。精选PPT32l 所谓“多重共线性”是指解释变量之间存在某种线性关系。显然，如果多元回归模型中的解释变量存在“多重共线性”，其最小二乘估计的结果是无效的。亦即 是不存在的。（岭回归、主成分回归）1()XX5.3多重共线性问题精选PPT33 在回归分析中，还有一类用来表示某种属性的变量，例如，有关性别、种类、地区、战争、地震、罢工、政变和政府经济政策的变化等。这种通常表示有或没有某种性质的变量称之为“虚变量”。一般用-1，0，1等来表示有或没有这种属性。l一个例子：战争时期和和平时期的消费函数。先假设 YC1
11、（战争时期）YC2 （和平时期）5.4 虚变量（Dummy Variables）精选PPT34其中12，这里假设两个时期的边际消费倾向是相同的，实际上我们可以用一个式子表示这两个关系式，即 YXC221 其中 102X 0 表示战争时期的年份，1 表示和平时期的年份。因此有 YXCEYXCE21212)1|()0|(由此有 12222111,精选PPT35也可以考虑引入两个虚变量的方法。这时回归模型可以写成 YXXC33221 其中 102X 103X 同样这里的0表示战争时期的年份，1表示和平时期的年份。并且如果我们假设虚变量样本是开始是两年和平时期，随后 是三年战争时期，接着又是和平时期构
12、成，那么其样本矩阵 可表示为：精选PPT36 nYYYYYYYYX0110110111011011010110117654321 从中可看出，132 XX，即表明2X和3X是 完全共线的。因此，这时是不能使用最小二乘法的。精选PPT37l 利用“虚变量”的一般原则是，如果一个质的变量需要表示m种可能性，那么最多就只能引入m-1个虚变量。根据这个原则，在上面的例子中，就只能引入一个虚变量。如果不遵守这个原则，我们就可能掉入所谓“虚变量陷阱”，即完全多重共线性的情形。关于如何应用“虚变量”方法，需要讨论更多的问题，必须另外进行讨论。精选PPT38精选PPT39精选PPT40 结果表明，当前一期人均
13、居民消费额（结果表明，当前一期人均居民消费额（X2）保持不变时，人均国内生产总值（保持不变时，人均国内生产总值（X1）每）每 增加增加1千元，人均居民消费额（千元，人均居民消费额（Y）平均）平均 增加增加0.339千元；当人均国内生产总值（千元；当人均国内生产总值（X1）保持不变时，前一期人均居民消费额（保持不变时，前一期人均居民消费额（X2）每增加每增加1千元，人均居民消费额（千元，人均居民消费额（Y）平均）平均 增加增加0.302千元。千元。注：对回归模型和回归参数一定要分别通过注：对回归模型和回归参数一定要分别通过t 检验和检验和F检验，才能说明模型的合理性。在此留作作业。检验，才能说明
14、模型的合理性。在此留作作业。精选PPT41l某电网有8台发电机组，6条主要线路，表A和表B中的方案0给出了各机组的当前出力和各线路上对应的有功潮流值，方案132给出了围绕方案0的一些实验数据，试用这些数据确定各线路上有功潮流关于各发电机组出力的近似表达式。精选PPT42精选PPT43精选PPT44精选PPT45精选PPT460.082840.048280.052970.12-0.025440.1220.122-0.001226-0.054560.128-0.000030.033280.08685-0.112-0.018930.09873-0.069540.06165-0.157-0.00992
15、20.1240.002117-0.002511-0.201-0.03446-0.1020.205-0.02083-0.01A183 0.0059530.1450.07655 0.00053330.243-0.06455-0.04113-0.065220.07034-0.004263-0.0089130.238-0.06017-0.077870.092980.04690.000080.1660.0006868110.29131.22-108.8777.48132.97120.66B精选PPT47精选PPT48lStep1.分析实验数据建立回归模型lStep2.估计模型的未知参数lStep3.对回
16、归方程和回归参数作显著性检验，如果通过检验则执行下一步，否则转Step1lStep4.结合实验数据作预测精选PPT49l1.引言 在许多实际问题中，变量之间更加一般的关系形式是非线性关系的。我们注意到在非线性关系中，有许多情况是可以通过简单的变量变换，就可以转变为线性回归关系，从而这类非线性关系的问题也可应用前面所讲的方法来解决。因此，解决非线性回归模型的基本思路，就是通过一定的转换，将非线性形式转换成线性的形式，然后加以解决。精选PPT50精选PPT51精选PPT52精选PPT53精选PPT54精选PPT55精选PPT56l 总之，对于非线性回归模型问题，实际上最重要、最困难的，并不是非线性形式的线性转换方式，而是原有的非线性回归模型如何建立，这才是最困难的，也是建模关键和困难之处。精选PPT57 Thank you！
