相关分析和回归分析SPSS讲解课件.ppt

1、相关分析与回归分析相关分析与回归分析本章内容v变量间的相关关系变量间的相关关系 v一元线性回归一元线性回归v多元线性回归多元线性回归v可化为线性回归的曲线回归可化为线性回归的曲线回归掌握相关系数的含义、计算方法和应用掌握相关系数的含义、计算方法和应用掌握一元线性回归的基本原理和参数的最小二乘估掌握一元线性回归的基本原理和参数的最小二乘估计方法计方法掌握回归方程的显著性检验掌握回归方程的显著性检验利用回归方程进行预测利用回归方程进行预测掌握多元线性回归分析的基本方法掌握多元线性回归分析的基本方法了解可化为线性回归的曲线回归了解可化为线性回归的曲线回归学习目标一.变量相关的概念二.相关系数及其计算

2、第一节 变量间的相关关系（一）相关分析和回归分析概述 广义上，相关分析包括回归分析广义上，相关分析包括回归分析l回归关系：指两事物之间的一种一一对应关系，回归关系：指两事物之间的一种一一对应关系，以数学方式表示变量之间的关系。以数学方式表示变量之间的关系。l相关关系（统计关系）：指两事物之间的一种非相关关系（统计关系）：指两事物之间的一种非一一对应的关系，是检验或度量这些关系的密切一一对应的关系，是检验或度量这些关系的密切程度。程度。相关分析和回归分析都是分析客观事物之间相关关相关分析和回归分析都是分析客观事物之间相关关系的数量分析方法。系的数量分析方法。1.是一一对应的确定关系是一一对应的确

3、定关系2.设有两个变量设有两个变量 x 和和 y，变，变量量 y 随变量随变量 x 一起变化，一起变化，并完全依赖于并完全依赖于 x，当变量，当变量 x 取某个数值时，取某个数值时，y 依确依确定的关系取相应的值，则定的关系取相应的值，则称称 y 是是 x 的函数，记为的函数，记为 y=f(x)，其中，其中 x 称为自变称为自变量，量，y 称为因变量称为因变量3.各观测点落在一条线上各观测点落在一条线上 变量间的关系（函数关系）变量间的关系（函数关系）变量间关系不能用函数变量间关系不能用函数关系精确表达关系精确表达一个变量的取值不能由一个变量的取值不能由另一个变量唯一确定另一个变量唯一确定当变

4、量当变量 x 取某个值时取某个值时，变量，变量 y 的取值可能的取值可能有几个有几个各观测点分布在直线周各观测点分布在直线周围围 变量间的关系（相关关系）变量间的关系（相关关系）相关关系的类型相关关系相关关系非非线性相关线性相关线性相关线性相关正正相相关关正正相相关关负负相相关关负负相相关关完全相关完全相关不不相关相关相关关系的图示 相关系数示意图 X X、Y Y 变化互不影响变化互不影响-零零相关相关(zero correlation)(zero correlation)因果关系不可能完全通过统计分析证明因果关系不可能完全通过统计分析证明回归模型中表述的因果关系即使很好的拟和了数回归模型中表

5、述的因果关系即使很好的拟和了数 据，也不可能完全肯定它存在据，也不可能完全肯定它存在 例如：例如：r=0.5r=0.5，两者存在相关性，但共同变异量仅为，两者存在相关性，但共同变异量仅为25%25%，稳定性差稳定性差统计关系和因果关系统计关系和因果关系（二）（二）相关系数及其计算相关系数及其计算相关分析通过图形和数值两种方式，有效地揭示相关分析通过图形和数值两种方式，有效地揭示事物之间相关关系的强弱程度和形式。事物之间相关关系的强弱程度和形式。相关系数相关系数对变量之间关系密切程度的度量对变量之间关系密切程度的度量对两个变量之间线性相关程度的度量称为简单相对两个变量之间线性相关程度的度量称为简

6、单相关系数关系数若相关系数是根据总体全部数据计算的，称为总若相关系数是根据总体全部数据计算的，称为总体相关系数，记为体相关系数，记为若根据样本数据计算称为样本相关系数，记为若根据样本数据计算称为样本相关系数，记为 r相关系数的计算u对不同类型的变量应采用不同的相关系数来度对不同类型的变量应采用不同的相关系数来度量，常用的相关系数主要有量，常用的相关系数主要有Pearson相关系相关系数、数、Spearman等级相关系数和等级相关系数和Kendall相相关系数、点二列相关、二列相关等。关系数、点二列相关、二列相关等。uPearson相关系数（适用于两个变量都是线相关系数（适用于两个变量都是线性、

7、成对、正态、连续的数据）性、成对、正态、连续的数据）或或化简为化简为相关系数的计算Spearman等级相关系数是对等级相关系数是对Pearson相关相关系数的延伸。用系数的延伸。用 表示，适用于具有线性关表示，适用于具有线性关系的两列等级变量，主要解决称名数据和顺序系的两列等级变量，主要解决称名数据和顺序数据的相关问题，不必考虑是否正态。数据的相关问题，不必考虑是否正态。222i21161()(1)nniiiiiDrDUVn n，其中数据类型与相关系数类型 利用相关系数进行变量间线性关系的分析通常需要利用相关系数进行变量间线性关系的分析通常需要完成以下两个步骤：完成以下两个步骤：第一，计算样本

8、相关系数第一，计算样本相关系数r；u相关系数相关系数r的取值在的取值在-1+1之间之间uR0表示两变量存在正的线性相关关系；表示两变量存在正的线性相关关系；r0.8表示两变量有较强的线性关系；表示两变量有较强的线性关系；|r|t，拒绝，拒绝H0；t t，接受，接受H0 回归方法简介进入法进入法删除法删除法前进法前进法(step-up,forward-entry procedure)后退法后退法(step-down,backward-elimination procedure)逐步回归法逐步回归法(Stepwise)回归方法进入法：是进入法：是SPSS回归的默认状态。这种方法将用回归的默认状态。

9、这种方法将用户定义的所有自变量一次全部纳入回归户定义的所有自变量一次全部纳入回归删除法：将全部自变量一次从回归中删除。删除法：将全部自变量一次从回归中删除。向前回归法的基本思想选定一个标准。选定一个标准。开始方程中没有自变量开始方程中没有自变量(常数项除外常数项除外)按自变量对按自变量对y的贡献大小由大到小依次挑选进入方程。的贡献大小由大到小依次挑选进入方程。(假假设检验的设检验的P值越小贡献越大值越小贡献越大)每选入一个变量进入方程，则重新计算方程外各自变量对每选入一个变量进入方程，则重新计算方程外各自变量对y的贡献。的贡献。直到方程外变量均达不到入选标准，没有自变量可被引入直到方程外变量均

10、达不到入选标准，没有自变量可被引入方程为止。方程为止。向后回归法的基本思想选定一个标准选定一个标准开始所有变量均在方程中开始所有变量均在方程中按自变量对按自变量对y的贡献大小由小到大依次剔除变量。的贡献大小由小到大依次剔除变量。每剔除一个变量，则重新计算方程每剔除一个变量，则重新计算方程内内各自变量对各自变量对y的贡献。的贡献。直到方程内变量均达到入选标准，没有自变量可被直到方程内变量均达到入选标准，没有自变量可被剔除为止。剔除为止。逐步回归的策略先选择先选择P值较大值较大(0.9),用逐步向前法剔选变量。看哪个用逐步向前法剔选变量。看哪个变量先进入方程；每个变量进入方程时的变量先进入方程；每

11、个变量进入方程时的P值；哪个变值；哪个变量先进入方程后又被剔除。量先进入方程后又被剔除。再选择再选择P值较小值较小(0.001),用逐步向后法逐个剔除变量。用逐步向后法逐个剔除变量。看哪个变量先被剔除方程看哪个变量先被剔除方程;每个变量被剔除时的每个变量被剔除时的P值值;哪个哪个变量先被剔除后又被选入。变量先被剔除后又被选入。根据上述结果选择根据上述结果选择几个不同几个不同的界值，再用逐步向前法和的界值，再用逐步向前法和逐步向后法分别观察变量进出方程的情况。直至所得方逐步向后法分别观察变量进出方程的情况。直至所得方程能得到合理的解释为止。程能得到合理的解释为止。回归系数反常的原因 数据中有离群

12、值或异常数据；数据中有离群值或异常数据；自变量的观察范围太窄，或方差太小；自变量的观察范围太窄，或方差太小；样本含量不够，或自变量数太多；样本含量不够，或自变量数太多；自变量间存在复共线性自变量间存在复共线性(multicollinearity)。线性回归分析的基本操作线性回归分析的基本操作（1）选择菜单）选择菜单AnalyzeRegressionLinear，出现窗口：出现窗口：（2）选择被解释变量进入）选择被解释变量进入Dependent框。框。（3）选择一个或多个解释变量进入）选择一个或多个解释变量进入Independent(s)框。框。（4）在）在Method框中选择回归分析中解释变量

13、的框中选择回归分析中解释变量的筛选策略。其中筛选策略。其中Enter表示所选变量强行进入回表示所选变量强行进入回归方程，是归方程，是SPSS默认的策略，通常用在一元线默认的策略，通常用在一元线性回归分析中；性回归分析中；Remove表示从回归方程中剔除表示从回归方程中剔除所选变量；所选变量；Stepwise表示逐步筛选策略；表示逐步筛选策略；Backward表示向后筛选策略；表示向后筛选策略；Forward表示表示向前筛选策略。向前筛选策略。线性回归分析的其他操作线性回归分析的其他操作1、Statistics按钮，出现的窗口可供用户选择更多按钮，出现的窗口可供用户选择更多的输出统计量。的输出统

14、计量。（1）Estimates：SPSS默认输出项，输出与回归默认输出项，输出与回归系数相关的统计量。包括回归系数（偏回归系数系数相关的统计量。包括回归系数（偏回归系数）、回归系数标准误差、标准化回归系数、回归）、回归系数标准误差、标准化回归系数、回归系数显著性检验的系数显著性检验的t统计量和概率统计量和概率p值，各解释变值，各解释变量的容忍度。量的容忍度。（2）Confidence Intervals：输出每个非标准化：输出每个非标准化回归系数回归系数95的置信区间。的置信区间。（3）Descriptive：输出各解释变量和被解释变量：输出各解释变量和被解释变量的均值、标准差、相关系数矩阵及

15、单侧检验概率的均值、标准差、相关系数矩阵及单侧检验概率p值。值。（4）Model fit：SPSS默认输出项，输出判定系默认输出项，输出判定系数、调整的判定系数、回归方程的标准误差、回数、调整的判定系数、回归方程的标准误差、回归方程显著归方程显著F检验的方程分析表。检验的方程分析表。（5）R squared change：输出每个解释变量进：输出每个解释变量进入方程后引起的判定系数的变化量和入方程后引起的判定系数的变化量和F值的变化值的变化量。量。（6）Part and partial correlation：输出方程中：输出方程中各解释变量与被解释变量之间的简单相关、偏相各解释变量与被解释变

16、量之间的简单相关、偏相关系数。关系数。（7）Covariance matrix：输出方程中各解释变量：输出方程中各解释变量间的相关系数、协方差以及各回归系数的方差。间的相关系数、协方差以及各回归系数的方差。（8）Collinearity Diagnostics：多重共线性分析：多重共线性分析，输出各个解释变量的容忍度、方差膨胀因子、特，输出各个解释变量的容忍度、方差膨胀因子、特征值、条件指标、方差比例等。征值、条件指标、方差比例等。（9）在）在Residual框中：框中：Durbin-waston表示输出表示输出DW检验值；检验值；Casewise Diagnostic表示输出表示输出标准化残

17、差绝对值大于等于标准化残差绝对值大于等于3（SPSS默认值）的默认值）的样本数据的相关信息，包括预测值、残差、杠杆值样本数据的相关信息，包括预测值、残差、杠杆值等。等。2、Options选项，出现的窗口可供用户设置多元选项，出现的窗口可供用户设置多元线性回归分析中解释变量筛选的标准以及缺失值线性回归分析中解释变量筛选的标准以及缺失值的处理方式。的处理方式。3、Plot选项，出现的窗口用于对残差序列的分析选项，出现的窗口用于对残差序列的分析。应用举例固体垃圾排放量与土地种类的关系固体垃圾排放量与土地种类的关系 p111第三节 多元线性回归多元线性回归模型多元线性回归的应用及注意事项回归参数的估计

18、回归方程的显著性检验回归系数的显著性检验多元线性回归的预测多元线性回归模型（概念要点）1.一个因变量与两个及两个以上自变量之间的回归一个因变量与两个及两个以上自变量之间的回归2.描述因变量描述因变量 y 如何依赖于自变量如何依赖于自变量 x1，x2，xp 和误差项和误差项 的方程称为的方程称为多元线性回归模型。3.涉及涉及 p 个自变量的多元线性回归模型可表示为个自变量的多元线性回归模型可表示为多元线性回归模型（基本假定）1.自变量自变量 x1，x2，xp是确定性变量，不是随机是确定性变量，不是随机变量。变量。2.随机误差项随机误差项的期望值为的期望值为0，且方差，且方差2 都相同。都相同。3

19、.误差项误差项是一个服从正态分布的随机变量，且相是一个服从正态分布的随机变量，且相互独立。互独立。多元线性回归方程（概念要点）1.描述描述 y 的平均值或期望值如何依赖于的平均值或期望值如何依赖于 x，x1，xp的方程称为的方程称为多元线性回归方程2.多元线性回归方程的形式为多元线性回归方程的形式为 E(y)=b0+b1 x1+b2 x2+bp xp多元线性回归的应用及其注意事项多元线性回归的应用及其注意事项应用应用影响因素分析，控制混杂因素预测：由自变量值推出应变量Y的值控制：指定应变量Y的值查看自变量的改变量应用的注意事项应用的注意事项（1）自变量为连续型变量：必要时作变换（2）自变量为有

20、序变量：依次赋值，如疗效好中差，可分别赋值3、2、1（3）自变量为二分类：如令男1，女0多元线性回归的应用及其注意事项多元线性回归的应用及其注意事项多元线性回归的应用及其注意事项多元线性回归的应用及其注意事项注意事项注意事项多重共线性分析 多重共线性是指解释变量之间存在线性相关关系的现象。容忍度的取值范围在0-1之间，越接近0表示多重共线性越强，越接近1表示多重共线性越弱。21iiRTol方程的决定系数很高，且Y与各自变量的相关系数也很高，但自变量的回归系数不显著两个自变量情形时，自变量之间的相关系数很高多个自变量时，某一自变量可以被其他自变量线性表出整个方程决定系数R2高，但每一自变量的偏确

21、定系数很小多重共线性的解决办法多重共线性的解决办法解决共线性的主要方法：筛选自变量，去掉与Y相关程度低，而与其他自变量高度相关的变量去掉可以被其余自变量线性表出的变量增加样本规模采用新的样本数据回归方程的显著性检验（线性关系的检验）1.检验因变量与所有的自变量和之间的是否存在一个检验因变量与所有的自变量和之间的是否存在一个显著的线性关系，也被称为显著的线性关系，也被称为总体的显著性检验检验2.检验方法是将回归离差平方和检验方法是将回归离差平方和(SSR)同剩余离差平方同剩余离差平方和和(SSE)加以比较，加以比较，应用 F 检验来分析二者之间的差来分析二者之间的差别是否显著别是否显著n如果是显

22、著的，因变量与自变量之间存在线性关系n如果不显著，因变量与自变量之间不存在线性关系回归方程的显著性检验（步骤）1.1.提出假设提出假设nH0：b1b2bp=0 线性关系不显著nH1：b1，b2，bp至少有一个不等于0计算检验统计量计算检验统计量F确定显著性水平确定显著性水平 和分子自由度和分子自由度p、分母自由度分母自由度n-p-1找出临界值找出临界值F 4.作出决策：若作出决策：若F F ，拒绝拒绝H0；若若FF，接受接受H0回归系数的显著性检验u 如果如果 F 检验已经表明了回归模型总体上是显著的检验已经表明了回归模型总体上是显著的，那么回归系数的检验就是用来确定每一个单个，那么回归系数的

23、检验就是用来确定每一个单个的自变量的自变量 xi i 对因变量对因变量 y 的影响是否显著。的影响是否显著。u 对每一个自变量都要单独进行检验。对每一个自变量都要单独进行检验。u 应用应用 t 检验。检验。u 在多元线性回归中，回归方程的显著性检验在多元线性回归中，回归方程的显著性检验不再不再等价于等价于回归系数的显著性检验。回归系数的显著性检验。回归系数的显著性检验（步骤）1.提出假设提出假设H0：bi=0 (自变量 xi 与 因变量 y 没有线性关系)H1：bi 0 (自变量 xi 与 因变量 y有线性关系)2.计算检验的统计量计算检验的统计量 t确定显著性水平确定显著性水平，并进行决策，并进行决策 tt，拒绝H0；tt，接受H0Thank you