回归分析的基本思想及其初步应用（二）学习培训模板课件.ppt

1、3.1回归分析的基回归分析的基本思想及其初步本思想及其初步应用（二）应用（二）高二数学高二数学 选修选修1-2线性回归模型和一次函数模型的区别和联系：区别：(1)线性回归模型增加了随机误差e，因此因变量 y的值由自变量x和随机误差e共同决定，即自变量即自变量x 只能解析部分只能解析部分y 的变化的变化.而一次函数模型因变量的值y由自变量x唯一决定。联系：当e=0 时，线性回归函数模型就是一次函数模型。因此，二者是一般与特殊的关系。(2)线性回归模型比一次函数模型的应用更为广泛。在统计中，我们也把自变量在统计中，我们也把自变量x称为解析变量称为解析变量，因变量因变量y称为预报变量称为预报变量.同

2、学们可否通过回归方程来预报身高为172cm的女生的体重？)(316.60712.85172849.0kgy提问：你认为身高为172cm的女大学生的体重一定是60.316kg吗？若不是，你能解释其原因吗？y=0.849x-85.71240455055606570150155160165170175180身高/cm体重/kg问题：由前述的分析我们知道女大学生的身高和体重具有线性相关关系，但相关关系的强弱如何刻画呢？必修3中给出了表示相关关系强弱的量，即相关系数的计算公式：niniiiniiiyyxxyyxxr11221)()()(注：该公式只适用于具有注：该公式只适用于具有线性线性相关关系的两个变

3、量之间。相关关系的两个变量之间。图3图4由上面的散点图，我们不难看出：当r0时，两个变量具有正相关；当r0 时，两个变量具有负相关；r的绝对值越接近1,表明两个变量的线性相关性越强，r的绝对值接近0，表明两个变量几乎不存在线性相关关系。通常当r的绝对值大于0.75时，认为两个变量有很强的线性相关关系。同学们可以通过相关系数公式自行计算本例中两个变量的相关系数。结果:r=0.798.这表明体重与身高有很强的线性相关关系，从而也表明我们建立的回归模型是有意义的。注：应用回归分析的方法研究两个具有线性相关关系的变量时，应先计算相关系数，从而决定是否用回归方程进行拟合。思考思考：如何刻画预报变量（体重

4、）的变化？这个变化在多大程度上如何刻画预报变量（体重）的变化？这个变化在多大程度上与解析变量（身高）有关？在多大程度上与随机误差有关？与解析变量（身高）有关？在多大程度上与随机误差有关？假设身高和随机误差的不同不会对体重产生任何影响，那么所有人的体重将相假设身高和随机误差的不同不会对体重产生任何影响，那么所有人的体重将相同。同。在体重不受任何变量影响的假设下，设在体重不受任何变量影响的假设下，设8名女大学生的体重都是她们的平均值，名女大学生的体重都是她们的平均值，即即8个人的体重都为个人的体重都为54.5kg。54.554.554.554.554.554.554.554.5体重/kg17015

5、5165175170157165165身高/cm87654321编号54.5kg在散点图中，所有的点应该落在散点图中，所有的点应该落在同一条水平直线上，但是观在同一条水平直线上，但是观测到的数据并非如此。测到的数据并非如此。这就意这就意味着味着预报变量（体重）的值受预报变量（体重）的值受解析变量（身高）或随机误差解析变量（身高）或随机误差的影响的影响。对回归模型进行统计检验对回归模型进行统计检验5943616454505748体重/kg170155165175170157165165身高/cm87654321编号 例如，编号为例如，编号为6的女大学生的体重并没有落在水平直线上，她的体重为的女大

6、学生的体重并没有落在水平直线上，她的体重为61kg。解析。解析变量（身高）和随机误差共同把这名学生的体重从变量（身高）和随机误差共同把这名学生的体重从54.5kg“推推”到了到了61kg，相差，相差6.5kg，所以所以6.5kg是解析变量和随机误差的是解析变量和随机误差的组合效应组合效应。编号为编号为3的女大学生的体重并也没有落在水平直线上，她的体重为的女大学生的体重并也没有落在水平直线上，她的体重为50kg。解析。解析变量（身高）和随机误差共同把这名学生的体重从变量（身高）和随机误差共同把这名学生的体重从50kg“推推”到了到了54.5kg，相差，相差-4.5kg，这时解析变量和随机误差的组

7、合效应为这时解析变量和随机误差的组合效应为-4.5kg。用这种方法可以对所有预报变量计算组合效应。用这种方法可以对所有预报变量计算组合效应。数学上，把每个效应（观测值减去总的平均值）的平方加起来，即用数学上，把每个效应（观测值减去总的平均值）的平方加起来，即用21()niiyy表示总的效应，称为表示总的效应，称为总偏差平方和总偏差平方和。在例在例1中，总偏差平方和为中，总偏差平方和为354。5943616454505748体重/kg170155165175170157165165身高/cm87654321编号 那么，在这个总的效应（总偏差平方和）中，有多少来自于解析变量（身高）？那么，在这个总

8、的效应（总偏差平方和）中，有多少来自于解析变量（身高）？有多少来自于随机误差？有多少来自于随机误差？假设随机误差对体重没有影响，也就是说，体重仅受身高的影响，那么散点图假设随机误差对体重没有影响，也就是说，体重仅受身高的影响，那么散点图中所有的点将完全落在回归直线上。但是，在图中，数据点并没有完全落在回归中所有的点将完全落在回归直线上。但是，在图中，数据点并没有完全落在回归直线上。直线上。这些点散布在回归直线附近，所以一定是随机误差把这些点从回归直线上这些点散布在回归直线附近，所以一定是随机误差把这些点从回归直线上“推推”开了开了。在例在例1中，残差平方和约为中，残差平方和约为128.361。

9、因此，数据点和它在回归直线上相应位置的差异因此，数据点和它在回归直线上相应位置的差异 是随机误差的效应，是随机误差的效应，称称 为为残差残差。)iiyy(iiieyy=例如，编号为例如，编号为6的女大学生，计算随机误差的效应（残差）为：的女大学生，计算随机误差的效应（残差）为：61(0.849 16585.712)6.627对每名女大学生计算这个差异，然后分别将所得的值平方后加起来，用数学符号对每名女大学生计算这个差异，然后分别将所得的值平方后加起来，用数学符号21()niiiyy称为称为残差平方和残差平方和，它代表了随机误差的效应。它代表了随机误差的效应。表示为：表示为：由于解析变量和随机误

10、差的总效应（总偏差平方和）为由于解析变量和随机误差的总效应（总偏差平方和）为354，而随机误差的效应为，而随机误差的效应为128.361，所以解析变量的效应为，所以解析变量的效应为解析变量和随机误差的总效应（总偏差平方和）解析变量和随机误差的总效应（总偏差平方和）=解析变量的效应（回归平方和）解析变量的效应（回归平方和）+随机误差的效应（残差平方和）随机误差的效应（残差平方和）354-128.361=225.639 这个值称为这个值称为回归平方和。回归平方和。我们可以用我们可以用相关指数相关指数R2来刻画回归的效果，其计算公式是来刻画回归的效果，其计算公式是22121()11()niiinii

11、yyRyy残差平方和。总偏差平方和2221121()()()nniiiiiniiyyyyRyy总偏差平方和残差平方和回归平方和总偏差平方和总偏差平方和离差平方和的分解离差平方和的分解（三个平方和的意义）1.总偏差平方和总偏差平方和(SST)反映因变量的反映因变量的 n 个观察值与其均值的总离差个观察值与其均值的总离差2.回归平方和回归平方和(SSR)反映自变量反映自变量 x 的变化对因变量的变化对因变量 y 取值变化的影响，取值变化的影响，或者说，是由于或者说，是由于 x 与与 y 之间的线性关系引起的之间的线性关系引起的 y 的取值变化，也称为可解释的平方和的取值变化，也称为可解释的平方和3

12、.残差平方和残差平方和(SSE)反映除反映除 x 以外的其他因素对以外的其他因素对 y 取值的影响，也称取值的影响，也称为不可解释的平方和或剩余平方和为不可解释的平方和或剩余平方和显然，显然，R2的值越大，说明残差平方和越小，也就是说模型拟合效果越好。的值越大，说明残差平方和越小，也就是说模型拟合效果越好。在线性回归模型中，在线性回归模型中，R2表示解析变量对预报变量变化的贡献率。表示解析变量对预报变量变化的贡献率。R2越接近越接近1，表示回归的效果越好（因为，表示回归的效果越好（因为R2越接近越接近1，表示解析变量和预报变量的，表示解析变量和预报变量的线性相关性越强）线性相关性越强）。如果某

13、组数据可能采取几种不同回归方程进行回归分析，则可以通过比较如果某组数据可能采取几种不同回归方程进行回归分析，则可以通过比较R2的值的值来做出选择，即选取来做出选择，即选取R2较大的模型作为这组数据的模型。较大的模型作为这组数据的模型。总的来说：总的来说：相关指数相关指数R2是度量模型拟合效果的一种指标。是度量模型拟合效果的一种指标。在线性模型中，它在线性模型中，它代表自变量刻画预报变量的能力代表自变量刻画预报变量的能力。我们可以用我们可以用相关指数相关指数R2来刻画回归的效果，其计算公式是来刻画回归的效果，其计算公式是22121()11()niiiniiyyRyy残差平方和。总偏差平方和135

14、4总计0.36128.361残差变量0.64225.639随机误差比例平方和来源表表1-3 从表从表3-1中可以看出，解析变量对总效应约贡献了中可以看出，解析变量对总效应约贡献了64%，即，即R2 0.64，可以叙述为，可以叙述为“身高解析了身高解析了64%的体重变化的体重变化”，而随机误差贡献了剩余的，而随机误差贡献了剩余的36%。所以，身高对体重的效应比随机误差的效应大得多。所以，身高对体重的效应比随机误差的效应大得多。我们可以用我们可以用相关指数相关指数R2来刻画回归的效果，其计算公式是来刻画回归的效果，其计算公式是22121()11()niiiniiyyRyy残差平方和。总偏差平方和表

15、表3-2列出了女大学生身高和体重的原始数据以及相应的残差数据。列出了女大学生身高和体重的原始数据以及相应的残差数据。在研究两个变量间的关系时，在研究两个变量间的关系时，首先要根据散点图来粗略判断首先要根据散点图来粗略判断它们是否线性相关它们是否线性相关，是否可以用回归模型来拟合数据。，是否可以用回归模型来拟合数据。残差分析与残差图的定义：残差分析与残差图的定义：然后，我们可以通过残差然后，我们可以通过残差 来判断模型拟合的效果，判断原始来判断模型拟合的效果，判断原始数据中是否存在可疑数据，数据中是否存在可疑数据，这方面的分析工作称为残差分析这方面的分析工作称为残差分析。12,ne ee 编号编

16、号12345678身高身高/cm165165157170175165155170体重体重/kg4857505464614359残差残差-6.3732.6272.419-4.6181.1376.627-2.8830.382 我们可以利用图形来分析残差特性，作图时纵坐标为残差，我们可以利用图形来分析残差特性，作图时纵坐标为残差，横坐标可以选为样本编号，或身高数据，或体重估计值等，这样横坐标可以选为样本编号，或身高数据，或体重估计值等，这样作出的图形称为作出的图形称为残差图残差图。残差图的制作及作用。残差图的制作及作用。坐标纵轴为残差变量，横轴可以有不同的选择；坐标纵轴为残差变量，横轴可以有不同的选

17、择；若模型选择的正确，残差图中的点应该分布在以若模型选择的正确，残差图中的点应该分布在以横轴为心的带形区域横轴为心的带形区域；对于远离横轴的点，要特别注意对于远离横轴的点，要特别注意。身高与体重残差图异常点 错误数据 模型问题 几点说明：几点说明：第一个样本点和第第一个样本点和第6个样本点的残差比较大，需要确认在采集过程中是否有人为个样本点的残差比较大，需要确认在采集过程中是否有人为的错误。如果数据采集有错误，就予以纠正，然后再重新利用线性回归模型拟合数的错误。如果数据采集有错误，就予以纠正，然后再重新利用线性回归模型拟合数据；如果数据采集没有错误，则需要寻找其他的原因。据；如果数据采集没有错

18、误，则需要寻找其他的原因。另外，残差点比较均匀地落在水平的带状区域中，说明选用的模型计较合适，这另外，残差点比较均匀地落在水平的带状区域中，说明选用的模型计较合适，这样的带状区域的宽度越窄，说明模型拟合精度越高，回归方程的预报精度越高。样的带状区域的宽度越窄，说明模型拟合精度越高，回归方程的预报精度越高。例例2、在一段时间内，某中商品的价格、在一段时间内，某中商品的价格x元和需求量元和需求量Y件之间件之间的一组数据为：的一组数据为：求出求出x对对Y的回归直线方程，并说明拟合效果的好坏。的回归直线方程，并说明拟合效果的好坏。价格价格x1416182022需求量需求量Y1210753解：解：18,

19、7.4,xy555221111660,327,620,iiiiiiixyx y7.4 1.15 1828.1.a1.1528.1.yx 回归直线方程为：51522155iiiiix yxybxx26205 18 7.41.15.16605 18 例例2、在一段时间内，某中商品的价格、在一段时间内，某中商品的价格x元和需求量元和需求量Y件之间件之间的一组数据为：的一组数据为：求出求出x对对Y的回归直线方程，并说明拟合效果的好坏。的回归直线方程，并说明拟合效果的好坏。价格价格x1416182022需求量需求量Y1210753列出残差表为列出残差表为521()iiiyy0.3,521()iiyy53

20、.2,5221521()1()iiiiiyyRyy 0.994因而，拟合效果较好。因而，拟合效果较好。iiyyiyy00.3-0.4-0.10.24.62.6-0.4-2.4-4.4用身高预报体重时，需要注意下列问题：用身高预报体重时，需要注意下列问题：1、回归方程只适用于我们所研究的样本的总体；、回归方程只适用于我们所研究的样本的总体；2、我们所建立的回归方程一般都有时间性；、我们所建立的回归方程一般都有时间性；3、样本采集的范围会影响回归方程的适用范围；、样本采集的范围会影响回归方程的适用范围；4、不能期望回归方程得到的预报值就是预报变量的精确值。、不能期望回归方程得到的预报值就是预报变量

21、的精确值。事实上，它是预报变量的可能取值的平均值。事实上，它是预报变量的可能取值的平均值。这些问题也适用于其他问题。这些问题也适用于其他问题。涉及到统计的一些思想：涉及到统计的一些思想：模型适用的总体；模型适用的总体；模型的时间性；模型的时间性；样本的取值范围对模型的影响；样本的取值范围对模型的影响；模型预报结果的正确理解。模型预报结果的正确理解。小结小结一般地，建立回归模型的基本步骤为：一般地，建立回归模型的基本步骤为：（1）确定研究对象，明确哪个变量是）确定研究对象，明确哪个变量是解析变量解析变量，哪个变量是，哪个变量是预报变量预报变量。（2）画出确定好的解析变量和预报变量的）画出确定好的

22、解析变量和预报变量的散点图散点图，观察它们之，观察它们之间的关系（如是否存在间的关系（如是否存在线性关系线性关系等）。等）。（3）由经验确定回归方程的类型（如我们观察到数据呈线）由经验确定回归方程的类型（如我们观察到数据呈线性关系，则选用线性回归方程性关系，则选用线性回归方程y=bx+a）.（4）按一定规则估计回归方程中的参数（）按一定规则估计回归方程中的参数（如最小二乘法如最小二乘法）。）。（5）得出结果后分析残差图是否有）得出结果后分析残差图是否有异常异常（个别数据对应残差（个别数据对应残差过大，或残差呈现不随机的规律性，等等），过存在异常，过大，或残差呈现不随机的规律性，等等），过存在异常，则检查数据是否有误，或模型是否合适等。则检查数据是否有误，或模型是否合适等。根据相关变量数据根据相关变量数据画散点图画散点图 观察相关变量是否线性相关观察相关变量是否线性相关 求线性回归方程求线性回归方程 进行预报进行预报 求相关系数求相关系数判断线性相关关系强弱判断线性相关关系强弱