1、相关与回归分析相关与回归分析洪金益洪金益中南大学地学院中南大学地学院地质数据处理基础9第九章 相关与回归分析第一节第一节 变量间的相关关系变量间的相关关系 第二节第二节 一元线性回归一元线性回归第三节第三节 多元线性回归多元线性回归第四节第四节 可化为线性回归的曲线回归可化为线性回归的曲线回归学习目标1. 掌握相关系数的含义、计算方法和应用掌握相关系数的含义、计算方法和应用2. 掌握一元线性回归的基本原理和参数的最掌握一元线性回归的基本原理和参数的最小二乘估计方法小二乘估计方法3. 掌握回归方程的显著性检验掌握回归方程的显著性检验4. 利用回归方程进行预测利用回归方程进行预测4. 掌握多元线性
2、回归分析的基本方法掌握多元线性回归分析的基本方法5. 了解可化为线性回归的曲线回归了解可化为线性回归的曲线回归第一节 变量间的相关关系一一. 变量相关的概念变量相关的概念二二. 相关系数及其计算相关系数及其计算变量相关的概念变量间的关系（函数关系）1. 是一一对应的确定关系；2. 设有两个变量 x 和 y ，变量 y 随变量 x 一起变化，并完全依赖于 x ，当变量 x 取某个数值时， y 依确定的关系取相应的值，则称 y 是 x 的函数，记为 y = f (x)，其中 x 称为自变量，y 称为因变量；3. 各观测点落在一条线上 。变量间的关系（函数关系）函数关系的例子：铅锌矿石中银的品位(y
3、)与铅的品位(x)之间的关系可表示为 y = p x (p 为相关系数)圆的面积(S)与半径之间的关系可表示为S = R2 品位一定时，吨矿石的盈利额(y)与价格(x1) 、回收率(x2)、各种成本(x3)等之间的关系可表示为y = x1 x2 x3 变量间的关系（相关关系）1. 变量间关系不能用函数关系精确表达；2. 一个变量的取值不能由另一个变量唯一确定；3. 当变量 x 取某个值时，变量 y 的取值可能有几个；4. 各观测点分布在直线周围。 相关关系的类型相关关系相关关系非线性相关非线性相关线性相关线性相关正正相相关关正正相相关关负负相相关关负负相相关关完全相关完全相关不相关不相关相关关
4、系的图示相关系数及其计算相关关系的测度（相关系数）1.对变量之间关系密切程度的度量；2.对两个变量之间线性相关程度的度量称为简单相关系数；3.若相关系数是根据总体全部数据计算的，称为总体相关系数，记为 ；4.若是根据样本数据计算的，则称为样本相关系数，记为 r；相关关系的测度（相关系数）样本相关系数的计算公式：相关关系的测度（相关系数取值及其意义）1. r 的取值范围是 -1,12.|r|=1，为完全相关r =1，为完全正相关r =-1，为完全负正相关3. r = 0，不存在线性相关关系相关4.-1r0，为负相关5.0=5%(n-2)=0.553，表明元素A与元素B之间有十分显著的线性相关关系
5、。第二节 一元线性回归一一. 一元线性回归模型一元线性回归模型2参数的最小二乘估计参数的最小二乘估计3回归方程的显著性检验回归方程的显著性检验4预测及应用预测及应用什么是回归分析？（内容）1.从一组样本数据出发，确定变量之间的数学关系式；2.对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著；3.利用所求的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确程度。回归分析与相关分析的区别1.相关分析中，变量 x 变量 y 处于平等的地位；回归分析中，变量 y 称为因变量，处在被解释的地位，x 称为自
6、变量，用于预测因变量的变化；2.相关分析中所涉及的变量 x 和 y 都是随机变量；回归分析中，因变量 y 是随机变量，自变量 x 可以是随机变量，也可以是非随机的确定变量；3.相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量 x 对变量 y 的影响大小，还可以由回归方程进行预测和控制。 回归模型的类型一个自变量两个及两个以上自变量回归模型回归模型多元回归多元回归一元回归一元回归线性线性回归回归非线性非线性回归回归线性线性回归回归非线性非线性回归回归回归模型与回归方程回归模型1. 回答“变量之间是什么样的关系？”2. 方程中运用1 个数字的因变量(响应变量)被预测的变量
7、1 个或多个数字的或分类的自变量 (解释变量)用于预测的变量3. 主要用于预测和估计一元线性回归模型 （概念要点）1.当只涉及一个自变量时称为一元回归一元回归，若因变量 y 与自变量 x 之间为线性关系时称为一元线性回归；一元线性回归；2.对于具有线性关系的两个变量，可以用一条线性方程来表示它们之间的关系3.描述因变量 y 如何依赖于自变量 x 和误差项 的方程称为回归模型回归模型。一元线性回归模型 （概念要点） 对于只涉及一个自变量的简单线性回归模型可表示为： y = b b + + b b1 1 x + + 模型中，y 是 x 的线性函数(部分)加上误差项线性部分反映了由于 x 的变化而引
8、起的 y 的变化误差项 是随机变量反映了除 x 和 y 之间的线性关系之外的随机因素对 y 的影响是不能由 x 和 y 之间的线性关系所解释的变异性b0 和 b1 称为模型的参数一元线性回归模型（基本假定）1.误差项是一个期望值为0的随机变量，即E()=0。对于一个给定的 x 值，y 的期望值为E ( y ) =b b 0+ b b 1 x2.对于所有的 x 值，的方差2 都相同3.误差项是一个服从正态分布的随机变量，且相互独立。即N( 0 ,2 )独立性意味着对于一个特定的 x 值，它所对应的与其他 x 值所对应的不相关对于一个特定的 x 值，它所对应的 y 值与其他 x 所对应的 y 值也
9、不相关回归方程 （概念要点）1.描述 y 的平均值或期望值如何依赖于 x 的方程称为回归方程回归方程2.简单线性回归方程的形式如下 E( y ) = b b0+ b b1 x方程的图示是一条直线，因此也称为直线回归方程b0是回归直线在 y 轴上的截距，是当 x=0 时 y 的期望值b1是直线的斜率，称为回归系数，表示当 x 每变动一个单位时，y 的平均变动值估计(经验)的回归方程3. 简单线性回归中估计的回归方程为其中： 是估计的回归直线在 y 轴上的截距， 是直线的斜率，它表示对于一个给定的 x 的值，是 y 的估计值，也表示 x 每变动一个单位时， y 的平均变动值 2. 用样本统计量 和
10、 代替回归方程中的未知参数 和 ，就得到了估计的回归方程1. 总体回归参数 和 是未知的，必需利用样本数据去估计xy10bb+1b0b1b0b1b0b0b1b参数 b0 和 b1 的最小二乘估计最小二乘法 （概念要点）1. 使因变量的观察值与估计值之间的离差平方和达到最小来求得 和 的方法。即2. 用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小0b1b最小二乘法（图示）最小二乘法 （ 和 的计算公式） 根据最小二乘法的要求，可得求解 和 的标准方程如下1b0b估计方程的求法（实例） 根据前述例中的数据，元素A对元素B的回归方程。 根据 和 的求解公式得：0b1b
11、估计(经验)方程元素B对元素A的回归方程为：估计方程的求法（输出结果）SUMMARY OUTPUTSUMMARY OUTPUT回归统计回归统计Multiple RMultiple R0.9987038210.998703821R SquareR Square0.9974093220.997409322Adjusted R SquareAdjusted R Square0.9971738060.997173806标准误差标准误差14.9496776614.94967766观测值观测值13 13CoefficientsCoefficients标准误差标准误差t Statt StatP-valueP
12、-valueLower 95%Lower 95%Upper 95%Upper 95%InterceptIntercept54.2228639254.22286392 8.993978698.99397869 6.0287966.0287968.56501E-058.56501E-05 34.427240334.4272403 74.018487574.0184875X Variable 1X Variable 10.526377140.52637714 0.008088550.00808855 65.0768265.076821.39842E-151.39842E-15 0.508574350
13、.50857435 0.544179930.54417993niiyxxSnt1221)() 2(b+niiyxxxnSnt12220)()(1) 2(b回归方程的显著性检验离差平方和的分解1. 因变量 y 的取值是不同的，y 取值的这种波动称为变差。变差来源于两个方面由于自变量 x 的取值不同造成的除 x 以外的其他因素(如x对y的非线性影响、测量误差等)的影响2. 对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差 来表示yy离差平方和的分解（图示）y离差平方和的分解 （三个平方和的关系）2. 两端平方后求和有离差平方和的分解 （三个平方和的意义）1.总平方和总平方和(SS
14、T)反映因变量的 n 个观察值与其均值的总离差2.回归平方和回归平方和(SSR)反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称为可解释的平方和3.残差平方和残差平方和(SSE)反映除 x 以外的其他因素对 y 取值的影响，也称为不可解释的平方和或剩余平方和样本决定系数 （判定系数 r2 ）1.回归平方和占总离差平方和的比例2. 反映回归直线的拟合程度3. 取值范围在 0 , 1 之间4. r2 1，说明回归方程拟合的越好；r20，说明回归方程拟合的越差5. 判定系数等于相关系数的平方，即r2(r)2回归方程的显著性检验
15、 （线性关系的检验 ）1. 检验自变量和因变量之间的线性关系是否显著2. 具体方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，两个变量之间存在线性关系如果不显著，两个变量之间不存在线性关系回归方程的显著性检验 （检验的步骤）1.提出假设H0：线性关系不显著2. 计算检验统计量F3. 确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F 4. 作出决策：若FF ,拒绝H0；若Ft，拒绝H0； tt=2.201，拒绝H0，表明元素A与元素B之间有线性关系 对前例的回归系数进行显著性检验(0.05)0758.6582
16、7.341603495.1452638. 02t回归系数的显著性检验(输出的结果）SUMMARY OUTPUTSUMMARY OUTPUT回归统计回归统计Multiple RMultiple R0.9987038210.998703821R SquareR Square0.9974093220.997409322Adjusted R SquareAdjusted R Square0.9971738060.997173806标准误差标准误差14.9496776614.94967766观测值观测值13 13CoefficientsCoefficients标准误差标准误差t Statt StatP-
17、valueP-valueLower 95%Lower 95%Upper 95%Upper 95%InterceptIntercept54.2228639254.22286392 8.993978698.99397869 6.0287966.0287968.56501E-058.56501E-05 34.427240334.4272403 74.018487574.0184875X Variable 1X Variable 10.526377140.52637714 0.008088550.00808855 65.0768265.076821.39842E-151.39842E-15 0.508
18、574350.50857435 0.544179930.5441799300808855. 052637714. 0111bbbSt99397869. 822286392.54000bbbSt+niiyxxxnSS122)()(10bniiyxxSS12)(1b预测及应用利用回归方程进行估计和预测1. 根据自变量 x 的取值估计或预测因变量 y的取值2. 估计或预测的类型点估计y 的平均值的点估计y 的个别值的点估计区间估计y 的平均值的置信区间置信区间估计y 的个别值的预测区间估计预测区间估计利用回归方程进行估计和预测（点估计）利用回归方程进行估计和预测（点估计） y 的平均值的点估计的平均
19、值的点估计1.利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的平均值的一个估计值E(y0) ，就是平均值的点估计；2.在前面的例子中，假如我们要估计元素A为2000时，所有样本的元素B的平均值，就是平均值的点估计。根据估计的回归方程得：98.1160200052638. 022286.540*+y利用回归方程进行估计和预测（点估计） y 的个别值的点估计的个别值的点估计1. 利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的一个个别值的估计值 ，就是个别值的点估计2. 比如，如果我们只是想知道某样本的元素A为1250.7时的元素B是多少，则
20、属于个别值的点估计。根据估计的回归方程得57.7127 .125052638. 022286.540*+y利用回归方程进行估计和预测 （区间估计）1. 点估计不能给出估计的精度，点估计值与实际值之间是有误差的，因此需要进行区间估计2. 对于自变量 x 的一个给定值 x0，根据回归方程得到因变量 y 的一个估计区间3. 区间估计有两种类型置信区间估计预测区间估计利用回归方程进行估计和预测（置信区间估计） y 的平均值的置信区间估计的平均值的置信区间估计 1.利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的平均值E(y0)的估计区间 ，这一估计区间称为置信区间置信区间2
21、. E(y0) 在1-置信水平下的置信区间为()()+niiyxxxxnSnty1220201)2(利用回归方程进行估计和预测（置信区间估计:算例）【例【例】根据前例，求出元素A为1250.7时，元素B的95%的置信区间解：根据前面的计算结果 置信区间为 712.57，Sy=14.95，t(13-2)2.201，n=13元素B的95%的置信区间为702.305722.835之间0 y()827.341603473077.9867 .125013195.14201. 257.7122+*利用回归方程进行估计和预测（预测区间估计） y 的个别值的预测区间估计的个别值的预测区间估计 1.利用估计的回
22、归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的一个个别值的估计区间，这一区间称为预测区间预测区间 2. y0在1-置信水平下的预测区间为利用回归方程进行估计和预测（置预测区间估计:算例）【例【例】根据前例，求出某样本元素A为1250.7时，元素B的95%的预测区间 解：根据前面的计算结果有 712.57，Sy=14.95，t(13-2)2.201，n=13 置信区间为元素B的95%的预测区间为678.101747.039之间0 y影响区间宽度的因素1.置信水平 (1 - )区间宽度随置信水平的增大而增大2.数据的离散程度 (s)区间宽度随离散程度的增大而增大3.样本容量区间宽
23、度随样本容量的增大而减小4.用于预测的 xp与x的差异程度区间宽度随 xp与x 的差异程度的增大而增大置信区间、预测区间、回归方程第三节 多元线性回归一一. 多元线性回归模型多元线性回归模型2回归参数的估计回归参数的估计3回归方程的显著性检验回归方程的显著性检验4回归系数的显著性检验回归系数的显著性检验5多元线性回归的预测多元线性回归的预测多元线性回归模型多元线性回归模型 （概念要点）1.一个因变量与两个及两个以上自变量之间的回归2.描述因变量 y 如何依赖于自变量 x1 ， x2 ， xp 和误差项 的方程称为3.涉及 p 个自变量的多元线性回归模型可表示为 b0 ，b1，b ，bp是参数
24、是被称为误差项的随机变量 y 是x1,，x2 ， ，xp 的线性函数加上误差项 说明了包含在y里面但不能被p个自变量的线性关系所解释的变异性ipipiixxxybbbb+L22110多元线性回归模型 （概念要点） 对于 n 组实际观察数据(yi ; xi1,，xi2 ， ，xip )，(i=1,2,n)，多元线性回归模型可表示为：y1 = b b + + b b1 1 x11+ + b b x12 + + + b bpx1p + + 1 1y2= b b + + b b1 1 x21 + + b b x22 + + + b bpx2p + + yn= b b + + b b1 1 xn1 +
25、+ b b xn2 + + + b bpxnp + + n多元线性回归模型（基本假定）1. 自变量 x1，x2，xp是确定性变量，不是随机变量；2. 随机误差项的期望值为0，且方差2 都相同；3. 误差项是一个服从正态分布的随机变量，即N(0,2)，且相互独立。多元线性回归方程 （概念要点）1. 描述 y 的平均值或期望值如何依赖于 x1， x1 ，xp的方程称为多元线性回归方程多元线性回归方程2. 多元线性回归方程的形式为： E( y ) = b b0+ b b1 x1 + b b2 x2 + b bp xp b1，b，bp称为偏回归系数 bi 表示假定其他变量不变，当 xi 每变动一个单位
26、时，y 的平均平均变动值多元线性回归方方程的直观解释多元线性回归的估计(经验)方程1.总体回归参数 是未知的，利用样本数据去估计2. 用样本统计量 代替回归方程中的 未知参数 即得到估计的回归方程 是 的估计值 是 y 的估计值pbbbb,210Lpbbbb,210Lpbbbb,210Lppxxxybbbb22110+Lpbbbb,210Lpbbbb,210Ly 参数的最小二乘估计参数的最小二乘法 （要点）2. 根据最小二乘法的要求，可得求解各回归参数 的标准方程如下：1. 使因变量的观察值与估计值之间的离差平方和达到最小来求得 。即：pbbbb,210L最小niiniipeyyQ121221
27、0) (),(bbbbL),2, 1(00000piQQiiiLbbbbbb回归方程的显著性检验多重样本决定系数 （多重判定系数 R2 ）1.回归平方和占总离差平方和的比例2. 反映回归直线的拟合程度3. 取值范围在 0 , 1 之间4. R2 1，说明回归方程拟合的越好； R20，说明回归方程拟合的越差5. 等于多重相关系数的平方，即R2=(R)2()()()()niiniiniiniiyyyyyyyySSTSSRR1212121221修正的多重样本决定系数 （修正的多重判定系数 R2 ）1.由于增加自变量将影响到因变量中被估计的回归方程所解释的变异性的数量，为避免高估这一影响，需要用自变量
28、的数目去修正R2的值；2.用n表示观察值的数目，p表示自变量的数目，修正的多元判定系数的计算公式可表示为：()111122pnnRR修回归方程的显著性检验 （线性关系的检验 ）1.检验因变量与所有的自变量和之间的是否存在一个显著的线性关系，也被称为总体的显总体的显著性著性检验2.检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用应用 F 检验检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系回归方程的显著性检验 （步骤）1.提出假设H0：b1b2bp=0 线性关系不显著H1：b1，b2，bp至少有一
29、个不等于02. 计算检验统计量F3. 确定显著性水平和分子自由度p、分母自由度n-p-1找出临界值F 4. 作出决策：若FF ，拒绝H0；若FF，接受H0()() 1,(111212pnpFpnyypyypnSSEpSSRFniinii回归系数的显著性检验（要点）1. 如果F检验已经表明了回归模型总体上是显著的，那么回归系数的检验就是用来确定每一个单个的自变量 xi 对因变量 y 的影响是否显著；2. 对每一个自变量都要单独进行检验；3. 应用 t 检验；4. 在多元线性回归中，回归方程的显著性检验不再等价于回归系数的显著性检验。回归系数的显著性检验 （步骤）1. 提出假设H0： bi = 0
30、 (自变量 xi 与 因变量 y 没有线性关系) H1： bi 0 (自变量 xi 与 因变量 y有线性关系) 2. 计算检验的统计量 t3. 确定显著性水平，并进行决策 tt，拒绝H0； tF0.05(2,7)=4.74，回归方程显著4. 回归系数的显著性检验tb1= 9.3548t=0.3646，； tb2 = 4.7962 t=2.3646；两个回归系数均显著210228. 0341. 18252.38xxy+第三节 可化为线性回归的线回归1基本概念基本概念2非线性模型及其线性化方法非线性模型及其线性化方法非线性回归1. 因变量 y 与 x 之间不是线性关系2. 可通过变量代换转换成线性
31、关系3. 用最小二乘法求出参数的估计值4. 并非所有的非线性模型都可以化为线性模型几种常见的非线性模型 指数函数几种常见的非线性模型 幂函数几种常见的非线性模型 双曲线函数几种常见的非线性模型 对数函数几种常见的非线性模型 S 型曲线非线性回归（实例）1.用线性模型：y =b0+b1x+ ，有： y = 2.671+0.0018x2.用指数模型：y = b x ，有： y =4.05(1.0002)x3.比较： 直线的残差平方和5.3371指数模型的残差平方和6.11。直线模型略好于指数模型。本章小结1. 相关系数与相关分析相关系数与相关分析2. 一元线性回归模型、回归方程与估计的回一元线性回归模型、回归方程与估计的回归方程归方程3. 多元线性回归模型、回归方程与估计的回多元线性回归模型、回归方程与估计的回归方程归方程4. 回归方程与回归系数的显著性检验回归方程与回归系数的显著性检验5. 非线性回归的线性化非线性回归的线性化结结 束束
