利用MATLAB进行多元线性回归课件.ppt

1、2.2.线性回归线性回归 b=regress(y,X)b,bint,r,rint,s=regress(y,X,alpha)输入输入:y因变量因变量(列向量列向量),X1与自变量组成的矩阵，与自变量组成的矩阵，Alpha显著性水平显著性水平（缺省时设定为（缺省时设定为0.05）s:3个统计量：个统计量：决定系数决定系数R2，F值值,F(1,n-2)分布大于分布大于F值的概率值的概率p，p 时时回归模型有效回归模型有效输出输出:b=（），），bint:b的置信区间，的置信区间，r:残差残差(列向量列向量)，rint:r的置信区间的置信区间,10rcoplot(r,rint)残差及其置信区间作图残差

2、及其置信区间作图回归回归模型模型 例例3:血压与年龄、体重指数、吸烟习惯血压与年龄、体重指数、吸烟习惯 序序号号 血血压压年年龄龄体重体重指数指数吸烟吸烟习惯习惯 序序号号 血血压压年年龄龄体重体重指数指数吸烟吸烟习惯习惯11443924.20211363625.0022154731.11221425026.2131384522.60231203923.50101545619.30301756927.41体重指数体重指数=体重（体重（kg）/身高（身高（m）的平方）的平方 吸烟习惯吸烟习惯:0表示不吸烟，表示不吸烟，1表示吸烟表示吸烟 建立血压与年龄、体重指数、吸烟习惯之间的回归模型建立血压与

3、年龄、体重指数、吸烟习惯之间的回归模型模型建立模型建立血压血压y，年龄，年龄x1，体重指数，体重指数x2，吸烟习惯，吸烟习惯x3 3322110 xxxyy与与x1的散点图的散点图y与与x2的散点图的散点图线性回归模型线性回归模型回归系数回归系数 0,1,2,3 由数据估计由数据估计,是随机误差是随机误差 n=30;m=3;y=144 215138145162142170124158154 162 150140110128130135114116124 136 142120120160158144130125175;x1=39 474547654667426756 64565934424845

4、182019 36503921445363292569;x2=24.2 31.1 22.6 24.0 25.9 25.1 29.5 19.7 27.2 19.3 28.0 25.8 27.3 20.1 21.7 22.2 27.4 18.8 22.6 21.5 25.0 26.2 23.5 20.3 27.1 28.6 28.3 22.0 25.3 27.4;x3=0 1 0 1 1 0 1 0 1 0 1 0 0 0 0 1 0 0 0.0 0 1 0 0 1 1 0 1 0 1;X=ones(n,1),x1,x2,x3;b,bint,r,rint,s=regress(y,X);s2=sum

5、(r.2)/(n-m-1);b,bint,s,s2rcoplot(r,rint)回归系数回归系数回归系数回归系数估计值估计值回归系数回归系数置信区间置信区间 045.36363.5537 87.1736 10.3604-0.0758 0.7965 23.09061.0530 5.1281 311.8246-0.1482 23.7973R2=0.6855 F=18.8906 p0.0001 s2=169.7917模型模型求解求解回归系数回归系数回归系数回归系数估计值估计值 回归系数回归系数置信区间置信区间 058.510129.9064 87.1138 10.43030.1273 0.7332

6、22.34490.8509 3.8389 310.30653.3878 17.2253R2=0.8462 F=44.0087 p0.0001 s2=53.6604剔除异常点剔除异常点(第第2点和第点和第10点点)后后xueya01.m3213065.103449.24303.05101.58xxxy 此时可见第二与第十二个点是异常点，于是删除此时可见第二与第十二个点是异常点，于是删除上述两点，再次进行回归得到改进后的回归模型的系上述两点，再次进行回归得到改进后的回归模型的系数、数、系数置信区间与统计量系数置信区间与统计量回归系数回归系数回归系数估计值回归系数估计值回归系数置信区间回归系数置信区

7、间 058.510129.9064 87.1138 10.43030.1273 0.7332 22.34490.8509 3.8389 310.30653.3878 17.2253R2=0.8462 F=44.0087 p0.0001 s2=53.6604这时置信区间不包含零点，这时置信区间不包含零点，F统计量增大，可决系统计量增大，可决系数从数从0.6855增大到增大到0.8462，我们得到回归模型为：，我们得到回归模型为：3213065.103449.24303.05101.58xxxy 通常，进行多元线性回归的步骤如下：通常，进行多元线性回归的步骤如下：（1）做自变量与因变量的散点图，根

8、据散点图的形）做自变量与因变量的散点图，根据散点图的形状决定是否可以进行线性回归；状决定是否可以进行线性回归；（2）输入自变量与因变量；）输入自变量与因变量；（3）利用命令：）利用命令：b,bint,r,rint,s=regress(y,X,alpha)，rcoplot(r,rint)得到回归模型的系数以及异常点的情况；得到回归模型的系数以及异常点的情况；（4）对回归模型进行检验）对回归模型进行检验首先进行残差的正态性检验：首先进行残差的正态性检验：jbtest，ttest其次进行残差的异方差检验其次进行残差的异方差检验:戈德菲尔德一匡特戈德菲尔德一匡特(GoldfeldQuandt)检验检验

9、戈德菲尔德检验，简称为戈德菲尔德检验，简称为GQ检验检验.为了检验异方差为了检验异方差性，将样本按解释变量排序后分成两部分，再利用样性，将样本按解释变量排序后分成两部分，再利用样本本1和样本和样本2分别建立回归模型，并求出各自的残差平分别建立回归模型，并求出各自的残差平方和方和RSSl和和RSS2。如果误差项的离散程度相同。如果误差项的离散程度相同(即为即为同方差的同方差的)，则，则RSSl和和RSS2的值应该大致相同；若两的值应该大致相同；若两者之间存在显著差异，则表明存在异方差者之间存在显著差异，则表明存在异方差.检验过程检验过程中为了中为了“夸大夸大”残差的差异性，一般先在样本中部去掉残

10、差的差异性，一般先在样本中部去掉C个数据个数据(通常取通常取cn4)，再利用，再利用F统计量判断差异的统计量判断差异的显著性：显著性：)12/)(,12/)()12/)/()12/)/(1212kcnkcnFRSSRSSkcnRSSkcnRSSF其中，其中，n为样本容量，为样本容量，k为自变量个数为自变量个数.然后对残差进行自相关性的检验，通常我们利用然后对残差进行自相关性的检验，通常我们利用DW检检验进行残差序列自相关性的检验。该检验的统计量为：验进行残差序列自相关性的检验。该检验的统计量为：nttnttteeeDW12221/)(其中其中 为残差序列，对于计算出的结果通过查为残差序列，对于

11、计算出的结果通过查表决定是否存在自相关性。表决定是否存在自相关性。te若若 duDW4-du,则不存在自相关性；则不存在自相关性；若若 DW4-dl，则存在一阶负相关；，则存在一阶负相关；若若 dlDWdu 或或4-duDW4-dl，则无法判断，则无法判断下面我们对模型进行检验：下面我们对模型进行检验：（1）残差的正态检验：）残差的正态检验：由由jbtest检验，检验，h=0表明残差服从正态分布，进而由表明残差服从正态分布，进而由t检检验可知验可知h=0，p=1，故残差服从均值为零的正态分布；，故残差服从均值为零的正态分布；（2）残差的异方差检验：）残差的异方差检验：我们将我们将28个数据从小到大排列，去掉中间的个数据从小到大排列，去掉中间的6个数据，个数据，得到得到F统计量的观测值为：统计量的观测值为：f=1.9092,由由F(7,7)=3.79，可知：，可知：f=1.90923.79，故不存在异方差，故不存在异方差.（3）残差的自相关性检验：）残差的自相关性检验：计算得到：计算得到：dw=1.4330,查表后得到：查表后得到：dl=0.97 ,du=1.41，由于由于 1.41=dudw=1.4334-du=2.59,残差不存在自相关性残差不存在自相关性.