1、2在教育研究中，常常会遇到彼此有关系的两列或多列变量。在教育研究中，常常会遇到彼此有关系的两列或多列变量。根据不同的目的，可以从不同的角度去分析变量之间的关系。根据不同的目的，可以从不同的角度去分析变量之间的关系。上一章介绍的相关分析，旨在分析变量之间关系的强度，可上一章介绍的相关分析，旨在分析变量之间关系的强度，可以找到一个度量这种关系强度的指标以找到一个度量这种关系强度的指标相关系数。相关系数。98.1.2 回归方程回归方程回归分析的数学模型是：回归分析的数学模型是：123(,)kyf x x xx基本假设：基本假设：因变量因变量 y 受到我们已知的的受到我们已知的的 k 个自变个自变量量
2、 x1，x2，x3，xk 的影响，同时还受到一些的影响，同时还受到一些未知因素或随机因素的影响。未知因素或随机因素的影响。10每一组实际观察值每一组实际观察值yi，x1i，x2i，x3i，xki123(,)iiiikiiyf x xxx 服从均数为零的正态分布服从均数为零的正态分布因变量因变量 y 也服从正态分布，其平均数记为：也服从正态分布，其平均数记为：y123(,)kyf x x xx上式称为回归方程，确定回归线的方程即为回归方程。上式称为回归方程，确定回归线的方程即为回归方程。回归分析的主要任务就是要求出这个回归方程右边的函回归分析的主要任务就是要求出这个回归方程右边的函数表达式，也就
3、是求回归方程。数表达式，也就是求回归方程。11在回归分析中，根据所求回归方程函数类型的不同，可在回归分析中，根据所求回归方程函数类型的不同，可分为线性回归分析和非线性回归分析两个大类；又可根分为线性回归分析和非线性回归分析两个大类；又可根据内含自变量个数为一个还是多个而分为一元回归分析据内含自变量个数为一个还是多个而分为一元回归分析和多元回归分析两大类。和多元回归分析两大类。128.1.3 一元线性回归方程一元线性回归方程一元线性回归方程的通式为：一元线性回归方程的通式为：bxay式中式中a回归线在回归线在Y轴上的截距；轴上的截距；b是回归线的斜率，称回是回归线的斜率，称回归系数。归系数。一旦
4、一旦b和和a这两个关键的统计量的值，根据实测数值计算这两个关键的统计量的值，根据实测数值计算出来之后，这个方程就确定了。出来之后，这个方程就确定了。13回归方程的求法：回归方程的求法：最小二乘法，就是应该使误差的平方和最小。最小二乘法，就是应该使误差的平方和最小。当我们做出散点图后，发现无论哪条直线也不可能使所有的当我们做出散点图后，发现无论哪条直线也不可能使所有的散点都在其上。那么哪条直线最有代表性呢，根据最小二乘散点都在其上。那么哪条直线最有代表性呢，根据最小二乘法，如果每一点沿法，如果每一点沿Y轴方向到直线的距离的平方和最小，则轴方向到直线的距离的平方和最小，则这条直线在所有的直线中代表
5、性是最好的，它的表达式就是这条直线在所有的直线中代表性是最好的，它的表达式就是所要求的回归方程。所要求的回归方程。142211()nniiiiiQyy根据上面所说的最小二乘法，其公式为：根据上面所说的最小二乘法，其公式为：把把bxay代入上式，得：代入上式，得：21()niiiQya bx 15求回归方程就是求当上式达到最小时求回归方程就是求当上式达到最小时a与与b的值，而要使的值，而要使上式最小，需分别对上式最小，需分别对a与与b求偏导数，并令其等于零。求偏导数，并令其等于零。由于这部分涉及到高数里的内容，我们不过多介绍，只由于这部分涉及到高数里的内容，我们不过多介绍，只需明白原理就行了。最
6、后求得需明白原理就行了。最后求得b和和a的公式分别是：的公式分别是：2()()()XX YYbXXaYbX16bxay求出求出a和和b之后，可以列出回归方程式：之后，可以列出回归方程式：178.1.4 一元线性回归方程的检验一元线性回归方程的检验根据样本数据计算出的回归方程可能有一定的抽样误差。根据样本数据计算出的回归方程可能有一定的抽样误差。为了考查这两个变量在总体上是否存在线性关系，以及回为了考查这两个变量在总体上是否存在线性关系，以及回归方程对估计预测因变量的有效性如何，在回归方程应用归方程对估计预测因变量的有效性如何，在回归方程应用之前，首先应进行显著性检验。之前，首先应进行显著性检验
7、。18一元线性回归方程的显著性，有以下三种等效的检验方法：一元线性回归方程的显著性，有以下三种等效的检验方法：（1）对回归方程进行方差分析。）对回归方程进行方差分析。（2）对两个变量的相关系数进行与总体零相关的显著性检）对两个变量的相关系数进行与总体零相关的显著性检验。若相关系数显著，则回归方程也显著，即表明两个变量验。若相关系数显著，则回归方程也显著，即表明两个变量存在线性关系，否则则反之。存在线性关系，否则则反之。（3）对回归系数进行显著性检验。）对回归系数进行显著性检验。19以回归系数的显著性为例来说明回归方程检验的意义。以回归系数的显著性为例来说明回归方程检验的意义。回归系数是根据样本
8、数据计算出来的，即使从总体回归系数回归系数是根据样本数据计算出来的，即使从总体回归系数=0的总体中随机抽出的样本，由于抽样误差的影响，计算的总体中随机抽出的样本，由于抽样误差的影响，计算出的回归系数出的回归系数b也可能不等于零。因此不能根据样本回归系也可能不等于零。因此不能根据样本回归系数数b的大小判断的大小判断X与与Y之间是否存在线性关系，而应当看样本之间是否存在线性关系，而应当看样本的的b在以在以=0为中心的抽样分布上出现的概率如何。为中心的抽样分布上出现的概率如何。20如果样本的如果样本的b在其抽样分布上出现的概率较大，则在其抽样分布上出现的概率较大，则b与与=0的的总体无显著性差异，即
9、样本的总体无显著性差异，即样本的b是来自于是来自于=0的总体，这时，的总体，这时，即使即使b数值再大，也不能认为数值再大，也不能认为X与与Y存在线性关系；存在线性关系；反之，如果样本反之，如果样本b在其抽样分布上出现的概率小到一定程度，在其抽样分布上出现的概率小到一定程度，则则b与与=0有显著性差异，即样本的有显著性差异，即样本的b不是来自于不是来自于=0的总体，的总体，这时，即使这时，即使b再小，也只有承认再小，也只有承认X与与Y存在线性关系。存在线性关系。218.1.5 回归方程有效性高低的指标回归方程有效性高低的指标决定系数决定系数回归方程经检验有显著性，这只表明从总体上说回归方程经检验
10、有显著性，这只表明从总体上说X和和Y两个两个变量之间存在线性关系。但是回归方程估计、预测的效果如变量之间存在线性关系。但是回归方程估计、预测的效果如何，即何，即X与与Y线性关系的程度如何，还需进一步加以考查。线性关系的程度如何，还需进一步加以考查。因变量因变量Y的总平方和等于回归平方和与误差平方和之和。的总平方和等于回归平方和与误差平方和之和。222()()()Y YY YY Y 总平方和总平方和 回归平方和回归平方和 误差平方和误差平方和22222222()()()()()()YYYYYYYYYYYY2222()()1()()YYYYYYYY上式进行变换得：上式进行变换得：23从上式可见，若
11、回归平方和在总平方和中所占比率越大，而从上式可见，若回归平方和在总平方和中所占比率越大，而误差平方和所占比率越小，则预测效果越好；若回归平方和误差平方和所占比率越小，则预测效果越好；若回归平方和在总平方和中所占比率小，而误差平方和所占比率大，则预在总平方和中所占比率小，而误差平方和所占比率大，则预测效果越差。测效果越差。当总平方和全由回归平方和所造成，表明预测极好，没有误当总平方和全由回归平方和所造成，表明预测极好，没有误差。当回归平方和为零，表明预测无效果。差。当回归平方和为零，表明预测无效果。24通过对通过对X和和Y变量的相关系数变量的相关系数r的公式变换，可得：的公式变换，可得：222(
12、)()YYrYY也就是说也就是说X和和Y两个变量的相关系数的平方等于回归平方两个变量的相关系数的平方等于回归平方和在总平方和中所占比率。和在总平方和中所占比率。如果如果r2=0.64，表明变量，表明变量Y的变异中有的变异中有64%是由变量是由变量X的变的变异引起的，或者说有异引起的，或者说有64%可以上可以上X的变异推测出来，所以的变异推测出来，所以r2叫做测定系数。叫做测定系数。258.2 一元线性回归分析的一元线性回归分析的SPSS操作操作一元线性回归分析只涉及一个自变量的回归问题。设有两一元线性回归分析只涉及一个自变量的回归问题。设有两个变量个变量X和和Y，变量，变量Y的取值随变量的取值
13、随变量X的取值的变化而变化，的取值的变化而变化，则称则称Y为因变量，为因变量，X为自变量。为自变量。一元线性回归假设因变量和自变量之间为线性关系，用一一元线性回归假设因变量和自变量之间为线性关系，用一定的线性回归模型来拟合因变量和自变量的数据，并通过定的线性回归模型来拟合因变量和自变量的数据，并通过确定模型参数来得到回归方程。确定模型参数来得到回归方程。26例题：例题：现有现有107个国家的城巿化率和识字率的数据，变量个国家的城巿化率和识字率的数据，变量“urban”存放城巿化率值；存放城巿化率值；“literacy”存放识字率，数据文件名为存放识字率，数据文件名为“EG8-1.sav”。将识
14、字率作为自变量，城巿化率作为因变。将识字率作为自变量，城巿化率作为因变量，分析和建立识字率与城巿化率之间的线性函数关系。量，分析和建立识字率与城巿化率之间的线性函数关系。27统计分析过程：统计分析过程：作数据散点图作数据散点图在进行回归分析之前，最好先作数据散点图，观察因变量在进行回归分析之前，最好先作数据散点图，观察因变量与自变量之间关系是否有线性特点。与自变量之间关系是否有线性特点。按顺序按顺序GraphsScatter单击，打开单击，打开Scatterplot散点散点图主对话框。图主对话框。选择选择Simple按钮：按钮：28将变量城巿化率、识字率依次选入将变量城巿化率、识字率依次选入Y
15、轴与轴与X轴，单击轴，单击OK按按钮。钮。29生成的图形如下，其生成的图形如下，其Y轴为城巿化率，轴为城巿化率，X轴为识字率。轴为识字率。从图中可以看出城巿化率与识字率存在线性关系，可以判从图中可以看出城巿化率与识字率存在线性关系，可以判定建立线性回归方程是适合的。定建立线性回归方程是适合的。020406080100识字率(%)识字率(%)020406080100城城巿巿化化率率(%)(%)30选择分析分析菜单下的回归分析回归分析下线性回归分析线性回归分析选项回归模型的建立：回归模型的建立：31打开对话框：打开对话框：32将城巿化率调入将城巿化率调入“Dependent：”下的文本框中，作为因
16、下的文本框中，作为因变量；将识字率调入变量；将识字率调入“Independent(s)：”下的文本框中，下的文本框中，作为自变量。作为自变量。33在在“Method”右侧的列表框中可以选择多元线性回归分析右侧的列表框中可以选择多元线性回归分析的自变量筛选方法，其中选项有：的自变量筛选方法，其中选项有：Enter,Stepwise,Remove,Forward,Backward。34Enter强行进入法，所选择的自变量全部进入回归模型强行进入法，所选择的自变量全部进入回归模型Stepwise逐步回归法，是向前选择法与向后剔除法的结合逐步回归法，是向前选择法与向后剔除法的结合Remove消去法，建
17、立回归方程时，根据设定条件从回归消去法，建立回归方程时，根据设定条件从回归方程中剔除部分自变量方程中剔除部分自变量Forward向前选择法，根据在向前选择法，根据在“Options”对话框中所设定对话框中所设定的判据，从无自变量开始，在拟合过程中，每次将一个最的判据，从无自变量开始，在拟合过程中，每次将一个最符合判据的变量引入模型，直至所有符合判据的变量都进符合判据的变量引入模型，直至所有符合判据的变量都进入模型为止。入模型为止。Backward向后剔除法，根据在向后剔除法，根据在“Options”对话框中所设对话框中所设定的判据，每次剔除一个最不符合进入模型判据的变量直定的判据，每次剔除一个
18、最不符合进入模型判据的变量直到回归方程中不再含有不符合判据的自变量为止。到回归方程中不再含有不符合判据的自变量为止。我们了解我们了解Enter法和法和Stepwise法就可以了。法就可以了。这个例子选用这个例子选用Enter法。法。35单击单击Statistics按钮，弹出对话框。按钮，弹出对话框。Regression Coefficients选项区：有关回归系数的选项选项区：有关回归系数的选项与模型拟合及其拟合效果有关的选项：与模型拟合及其拟合效果有关的选项：36Estimates：SPSS默认的输出项。输出与回归系数相关的默认的输出项。输出与回归系数相关的统计量，回归系数、回归系数的标准误
19、、标准化回归系数、统计量，回归系数、回归系数的标准误、标准化回归系数、对回归系数进行检验的对回归系数进行检验的T值、以及值、以及T值的双侧检验的显著性概值的双侧检验的显著性概率率Model fit：SPSS默认的输出项。输出产生方程过程中引入默认的输出项。输出产生方程过程中引入模型及从模型中剔除的变量、提供相关系数模型及从模型中剔除的变量、提供相关系数R、R2及其修正及其修正值、估计值的标准误、值、估计值的标准误、ANOVA方差分析表。方差分析表。37单击单击Options按钮，弹出对话框。按钮，弹出对话框。在回归方程中包含常数项，默认选项。在回归方程中包含常数项，默认选项。缺失值处理缺失值处
20、理38Stepping Method Criteria栏，设置变量引入模型或从模型栏，设置变量引入模型或从模型剔除的判据。剔除的判据。Use probability of F选项，采用选项，采用F检验的概率值作为判据。检验的概率值作为判据。系统默认系统默认Entry值值0.05，Removal值值0.10。可以在其后的编。可以在其后的编辑框中输入自定义值。辑框中输入自定义值。当一个变量的当一个变量的Sig值值Entry值时，应拒绝值时，应拒绝H0，认为该变量对，认为该变量对因变量影响是显著的，应被引入回归方程中；当一个变量的因变量影响是显著的，应被引入回归方程中；当一个变量的Sig值值Remo
21、val值时，则不能拒绝值时，则不能拒绝H0，可以认为该变量对，可以认为该变量对因变量影响是不显著的，该变量从回归方程中剔除。因变量影响是不显著的，该变量从回归方程中剔除。注意，注意，Entry值要小于值要小于Removal值，而且它们都必须大于值，而且它们都必须大于0。Use F Value选项，采用选项，采用F值作为变量进入模型或从模型剔除值作为变量进入模型或从模型剔除的判据。的判据。39结果和讨论：结果和讨论：V Va ar ri ia ab bl le es s E En nt te er re ed d/R Re em mo ov ve ed db b识字率(%)a.EnterMode
22、l1VariablesEnteredVariablesRemovedMethodAll requested variables entered.a.Dependent Variable:城巿化率(%)b.引入或从模型中剔除的变量，自左向右各列含义为：引入或从模型中剔除的变量，自左向右各列含义为：Model为拟合过程步骤编号，为拟合过程步骤编号，Variables Entered为引入回归方程为引入回归方程的自变量，的自变量，Variables Removed为从回归方程中被剔除的自为从回归方程中被剔除的自变量，变量，Method为自变量引入或剔除出方程的判据。为自变量引入或剔除出方程的判据。可
23、以看出，可以看出，1个被选择的自变量经过强行进入法进入回归方个被选择的自变量经过强行进入法进入回归方程，没有被剔除的变量。程，没有被剔除的变量。40M Mo od de el l S Su um mm ma ar ry y.657a.432.42618.044Model1RR SquareAdjustedR SquareStd.Error ofthe EstimatePredictors:(Constant),识字率(%)a.拟合过程小结，自左向右各列含义为：拟合过程小结，自左向右各列含义为：Model为回归方程模为回归方程模型编号；型编号；R为相关系数；为相关系数；R2为相关系数的平方即测定
24、系数；为相关系数的平方即测定系数；Adjusted R Square为校正的相关系数的平方；为校正的相关系数的平方；Std.Error of the Estimate为标准估计误差。为标准估计误差。r2=SS回归回归/SS总总41A AN NO OV VA Ab b25457.123125457.12378.185.000a33537.010103325.60258994.133104RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors:(Constant),识字率(%)a.Dependent Variab
25、le:城巿化率(%)b.方差分析检验显示了回归拟合过程中每一步的方差分析结果。方差分析检验显示了回归拟合过程中每一步的方差分析结果。表中显示方差来源、平方和、自由度、均方、表中显示方差来源、平方和、自由度、均方、F值以及显著值以及显著性水平。方差来源性水平。方差来源Regression（回归）、（回归）、Residual（残差）（残差）和和Total（总和）。（总和）。H0：=0，即城巿化率和识字率间无直线关系。，即城巿化率和识字率间无直线关系。结论：结论：F=78.185，P=0.0000.01，拒绝，拒绝H0。可以认为城。可以认为城巿化率和识字率之间有直线关系。巿化率和识字率之间有直线关系
26、。42C Co oe ef ff fi ic ci ie en nt ts sa a3.4106.253.545.587.678.077.6578.842.000(Constant)识字率(%)Model1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable:城巿化率(%)a.回归结果分析，回归结果分析，Model为回归方程模型编号，为回归方程模型编号，Unstandardized Coefficients为非标准化回归系数，为非标准化回归系数，Standardized C
27、oefficients为标准化回归系数。为标准化回归系数。ab3.4100.678yx43结论：结论：t=8.842，P=0.0000.01，拒绝，拒绝H0。可以认为城巿化率和识字率之间有直线关系。可以认为城巿化率和识字率之间有直线关系。C Co oe ef ff fi ic ci ie en nt ts sa a3.4106.253.545.587.678.077.6578.842.000(Constant)识字率(%)Model1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable:城巿化率(%)a.回归系数显著性检验。回归系数显著性检验。44H0：=0，即，即城巿化率和识字率间无直线关系城巿化率和识字率间无直线关系。在一元线性回归中，相关系数检验、方差分析、在一元线性回归中，相关系数检验、方差分析、t检检验等价。但在多元线性回归中是不等价的。验等价。但在多元线性回归中是不等价的。说明说明45 结束语结束语
