1、计算方法课件第三章计算方法课件第三章2/47本章内容本章内容n3.1 引言引言n3.2 什么是最小二乘法什么是最小二乘法n3.3 最小二乘解的求法最小二乘解的求法n3.4 加权最小二乘法加权最小二乘法n小结小结n作业与实验作业与实验9/473.1 引言引言2、建立、建立实验数据实验数据的数学模型：的数学模型：给定函数的实验数据，需要用给定函数的实验数据，需要用较简单和合适较简单和合适的函的函数来逼近（或数来逼近（或拟合拟合实验数据）实验数据）例：已知例：已知 y=f(x)实验数据实验数据 希望建立希望建立y=f(x)数学模型（近似表达式）数学模型（近似表达式）数据逼近的特点：数据逼近的特点：（
2、1）要求适度的精度；）要求适度的精度；（2）实验数据有小的误差；）实验数据有小的误差；（3）有些问题会有特殊信息来选择数学模型。）有些问题会有特殊信息来选择数学模型。mmyyyxfxxxx2121)(10/473.1 引言引言n三三.多项式逼近（已学过）多项式逼近（已学过）1、Taylor多项式逼近函数（在多项式逼近函数（在xx0点）点）（详见教材（详见教材P88）n例：教材例：教材89例例12、插值多项式逼近函数、插值多项式逼近函数 （详见教材（详见教材P88，另教材第，另教材第2章）章）P88?11/473.1 引言引言n四四.函数逼近问题描述函数逼近问题描述设设f(x)为为a,b上连续函
3、数上连续函数,寻求一个近似函数寻求一个近似函数P(x)(多项式多项式)使在使在a,b上均匀逼近上均匀逼近f(x)。12/473.1 引言引言n五五.插值和拟合的概念与区别插值和拟合的概念与区别插值法是使用插值多项式来逼近未知或复杂函数插值法是使用插值多项式来逼近未知或复杂函数的的,它要求插值函数与被插函数在它要求插值函数与被插函数在插值节点上函数插值节点上函数值相同值相同,而在其他点上没有要求。在非插值节点而在其他点上没有要求。在非插值节点上有时函数值会相差很大。上有时函数值会相差很大。最佳逼近问题要求在被插函数的最佳逼近问题要求在被插函数的定义区间上定义区间上,所选所选近似函数都能与被插函数
4、有近似函数都能与被插函数有较好的近似较好的近似。最佳逼近是在函数空间最佳逼近是在函数空间 M中选中选 P(x)满足满足(*)min)()(max xpxfbxa13/473.1 引言引言但由于绝对值函数不宜进行分析运算但由于绝对值函数不宜进行分析运算,常将上式化为常将上式化为 来讨论来讨论,于是最佳逼近问题变为于是最佳逼近问题变为最佳平方逼近最佳平方逼近问题问题,而离散的最佳平方逼进问题就是常说的而离散的最佳平方逼进问题就是常说的曲线拟合曲线拟合 它们都可用最小二乘法求解。它们都可用最小二乘法求解。插值法插值法适用于适用于数据精确或可靠度较高的情况数据精确或可靠度较高的情况 曲线拟合法曲线拟合
5、法适用于适用于数据本身就有误差的情况数据本身就有误差的情况min)()()(2 dxxpxfxba min)()(20 xpxfiimii 14/473.2 什么是最小二乘法什么是最小二乘法n本节内容本节内容一一.问题背景问题背景二二.偏差的概念偏差的概念三三.最小二乘原则最小二乘原则四四.最小二乘法最小二乘法返回章节目录返回章节目录15/473.2 什么是最小二乘法什么是最小二乘法n一一.问题背景问题背景科学实验，统计分析，获得大量数据科学实验，统计分析，获得大量数据 达达最最小小。达达到到最最小小或或使使得得误误差差，线线曲曲线线拟拟合合。求求一一连连续续曲曲方方法法二二线线经经过过所所有
6、有点点插插值值。几几何何上上，插插值值曲曲方方法法一一之之间间的的近近似似表表达达式式与与确确定定很很大大iininiiininiyxyxxxyyyyyyxxxxx )(max )()(y )(n002210210 16/473.2 什么是最小二乘法什么是最小二乘法。所所求求曲曲线线称称为为拟拟合合曲曲线线小小二二乘乘法法，），这这样样的的方方法法称称为为最最（达达最最小小的的方方法法来来求求曲曲线线本本课课程程主主要要介介绍绍按按xy )(xy xy00 xnx17/473.2 什么是最小二乘法什么是最小二乘法当当数据量特别大时数据量特别大时一般不用插值法。这是因为数一般不用插值法。这是因为
7、数据量很大时所求插值曲线中的未知参数就很多，据量很大时所求插值曲线中的未知参数就很多，而且数据量很大时，多项式插值会出现高次插值而且数据量很大时，多项式插值会出现高次插值（效果不理想）或分段低次插值（精度不高）；（效果不理想）或分段低次插值（精度不高）；另外，测量数据本身往往就有误差，所以，使插另外，测量数据本身往往就有误差，所以，使插值曲线刻意经过这些点也不必要。值曲线刻意经过这些点也不必要。而曲线拟合是，首先根据物理规律或描点画草图而曲线拟合是，首先根据物理规律或描点画草图确定一条用来拟合的函数曲线形式，也可选择低确定一条用来拟合的函数曲线形式，也可选择低次多项式形式（所含参数比较少），然
8、后按最小次多项式形式（所含参数比较少），然后按最小二乘法求出该曲线，它未必经过所有已知点，但二乘法求出该曲线，它未必经过所有已知点，但它能反映出数据的基本趋势，且误差最小，效果它能反映出数据的基本趋势，且误差最小，效果比较好。比较好。18/473.2 什么是最小二乘法什么是最小二乘法n二二.偏差（残差）的概念偏差（残差）的概念iiiyx )(令令在回归分析中称为残差在回归分析中称为残差仍然是已知仍然是已知 x1 xm;y1 ym,求一个简单求一个简单易算的近似函数易算的近似函数 y(x)f(x)。但是但是 m 很大；很大；i 本身是测量值本身是测量值,不准确不准确,即即i f(xi)这时没必要
9、取这时没必要取 (xi)=yi,而要使而要使 (xi)yi 总总体上尽可能小。体上尽可能小。P7119/473.2 什么是最小二乘法什么是最小二乘法 常见做法：常见做法：使使 最小最小/*minimax problem*/偏差最大绝对值最小偏差最大绝对值最小|)(|max1iimiyx 使使 最小最小 偏差绝对值之和偏差绝对值之和 miiiyx1|)(|使使 最小最小 /*Least-Squares method*/偏差平方和最小偏差平方和最小 miiiyx12|)(|太复杂太复杂不可导，求解困难不可导，求解困难20/473.2 什么是最小二乘法什么是最小二乘法n三三.最小二乘原则最小二乘原则
10、1.最小二乘原则最小二乘原则n使使偏差平方和最小偏差平方和最小（上页中方法（上页中方法3）的原则称为）的原则称为最小二乘原则最小二乘原则；2.最小二乘法最小二乘法n按最小二乘原则选择拟合曲线按最小二乘原则选择拟合曲线y=(x)的方法的方法P7121/473.2 什么是最小二乘法什么是最小二乘法n四四.最小二乘法最小二乘法中中任任一一函函数数。为为其其中中满满足足中中，求求一一函函数数求求在在函函数数类类为为给给定定的的一一组组数数据据，要要设设 ，njjjmiiimiiinjjjniixaxyxyxxaxxxxmiyx01212*220*10)()()(min)()()(m)(n)(,),()
11、,(),2,1)(,(P7222/473.2 什么是最小二乘法什么是最小二乘法为为拟拟合合函函数数。为为最最小小二二乘乘解解，并并称称称称最最小小二二乘乘法法。拟拟合合的的最最小小二二乘乘法法，简简的的方方法法为为数数据据称称按按上上述述条条件件求求函函数数)()()(*xxx 23/473.3 最小二乘解的求法最小二乘解的求法n本节内容本节内容一一.最小二乘解的求法最小二乘解的求法二二.最小二乘拟合多项式的存在唯一性最小二乘拟合多项式的存在唯一性三三.一般最小二乘拟合一般最小二乘拟合返回章节目录返回章节目录24/473.3 最小二乘解的求法最小二乘解的求法n一一.最小二乘解的求法最小二乘解的
12、求法成立成立使得关系式使得关系式存在唯一的函数存在唯一的函数中，中，线性无关线性无关且且在函数类在函数类，互异；互异；据据对于给定的一组实验数对于给定的一组实验数定理：定理：)(min)()()(.)()()()(,),(),(m(n)(,),(),(),1,0(),(.10202*0*n1*10*0*1010 miiiimiiiinjjjnnniiiyxyxxaxaxaxaxxxxxxxmixyx 25/473.3 最小二乘解的求法最小二乘解的求法。记记号号程程组组得得到到可可以以通通过过解解下下列列法法方方并并且且其其系系数数 m1iiin10n10nn1n0nn11101n01000*)
13、(x)(x),(),(.),(),(a.aa),(.),(),(.),(.),(),(),(.),(),(),1,0(ghghfffnkak P73 3.3.226/473.3 最小二乘解的求法最小二乘解的求法叫叫直直线线拟拟合合。时时，一一次次多多项项式式拟拟合合又又特特别别地地，当当多多项项式式拟拟合合问问题题。又又叫叫，这这样样的的曲曲线线拟拟合合问问题题即即拟拟合合函函数数取取为为多多项项式式成成立立，使使得得关关系系式式多多项项式式次次，求求作作对对于于给给定定的的一一组组数数据据多多项项式式拟拟合合：1 )(min)(.)(:)(),1,0)(,(.20202*0*n*1*0*ny
14、xyxxaxaxaaxmnnmiyxmiiimiiinjkjnii 27/473.3 最小二乘解的求法最小二乘解的求法。相应的法方程组为：相应的法方程组为：.a.aa.111n10121111112111 miinimiiimiiminiminiminiminimiimiiminimiiyxyxyxxxxxxxxmP74 m次多项式拟合次多项式拟合28/473.3 最小二乘解的求法最小二乘解的求法（1）直线拟合（一次多项式拟合）直线拟合（一次多项式拟合）若若 ，a0,a1满足法方程组满足法方程组 即即a0,a1是法方程组的解。是法方程组的解。xaaxy10)(nkkknkknkknkknkky
15、xaxaxyaxna1112011110)()()(29/473.3 最小二乘解的求法最小二乘解的求法例例1 已知一组试验数据已知一组试验数据试用试用直线拟合直线拟合这组数据这组数据.(计算过程保留计算过程保留3位小数位小数)。解解 设直线设直线ya0+a1x，那么，那么a0,a1满足的法方程组公式满足的法方程组公式为为95.8865.445.55435.22kkyx nkkknkknkknkknkkyxaxaxyaxna1112011110)()()(30/47故法方程组为故法方程组为解得解得a0=1.229 a1=1.483 所求直线方程为所求直线方程为 y=1.229+1.483x 3.
16、3 最小二乘解的求法最小二乘解的求法计算列表如下：计算列表如下：25.1615.9040225.4925.3095.565.42255.855321684418963325.1125.65.45.22844212 kkkkkyxxyxk 25.1615.9022402261010aaaa31/473.3 最小二乘解的求法最小二乘解的求法（2）二次多项式拟合）二次多项式拟合 若若 满足法方程组满足法方程组 即即a0,a1,a2是法方程组的解。是法方程组的解。2102210,)(aaaxaxaaxy 211421311201132121101122110knkknkknkknkkknkknkknk
17、knkknkknkknkkxyxaxaxaxyxaxaxayxaxana32/473.3 最小二乘解的求法最小二乘解的求法例例2 已知一组试验数据已知一组试验数据 试用试用二次多项式二次多项式拟合这组数据拟合这组数据.(计算过程保留计算过程保留2位小数位小数)解解 设设 满足的法方满足的法方程组程组28.425.212.120.150.281.312.334.256.178.0kkyx2102210,)(aaaxaxaaxy 211421311201132121101122110knkknkknkknkkknkknkknkknkknkknkknkkxyxaxaxaxyxaxaxayxaxana
18、33/473.3 最小二乘解的求法最小二乘解的求法计算列表如下：计算列表如下：60.9477.2975.34176.10277.3235.1161.1113.6231.1672.21031.5552.1428.481.3590.2102.776.9437.3073.925.212.3413.662.298.2981.1248.512.134.2392.287.192.580.343.220.156.1252.195.137.047.061.050.278.012432 kkkkkkkkkxyyxxxxyxk34/473.3 最小二乘解的求法最小二乘解的求法故法方程组为故法方程组为解得解得a0=
19、5.05 a1=-4.04 a2=1.01所求二次多项式为所求二次多项式为 y=5.054.04x+1.01x2 60.9475.34176.10277.3277.2976.10277.3261.1135.1177.3261.115210210210aaaaaaaaa35/473.3 最小二乘解的求法最小二乘解的求法n二二.最小二乘拟合多项式的存在唯一性最小二乘拟合多项式的存在唯一性 定理：设点定理：设点x0,x1,xm互异，则法方程组互异，则法方程组 存在唯一的一组解存在唯一的一组解 证明：用反证法（略）证明：用反证法（略）.a.aa.111n10121111112111 miinimiii
20、miiminiminiminiminimiimiiminimiiyxyxyxxxxxxxxm36/473.3 最小二乘解的求法最小二乘解的求法n三三.一般一般最小二乘拟合最小二乘拟合性性最最小小二二乘乘拟拟合合问问题题。是是非非线线性性时时，称称为为非非线线中中的的函函数数关关于于参参数数数数类类型型当当最最小小二二乘乘拟拟合合所所取取函函、非非线线性性最最小小二二乘乘拟拟合合殊殊情情况况。最最小小二二乘乘拟拟合合的的一一种种特特多多项项式式拟拟合合为为一一般般线线性性、线线性性最最小小二二乘乘拟拟合合拟拟合合问问题题。小小二二乘乘等等等等，这这就就属属于于一一般般最最出出现现在在指指数数上上
21、、分分母母中中还还可可能能有有理理函函数数等等，待待定定参参数数指指数数函函数数、三三角角函函数数、，如如可可能能是是其其它它类类型型的的函函数数实实际际应应用用中中，拟拟合合函函数数naaa.,2110 37/473.3 最小二乘解的求法最小二乘解的求法两种非线性最小二乘问题的求解途径两种非线性最小二乘问题的求解途径 （1）化为线性最小二乘问题）化为线性最小二乘问题 部分可化为线性拟合问题的常见函数类型部分可化为线性拟合问题的常见函数类型见下页表见下页表 （2）马奎特（）马奎特（Marquardt）方法）方法 是在计算机上求解非线性最小二乘拟合问是在计算机上求解非线性最小二乘拟合问题的最为常
22、用和有效的方法之一。（略）题的最为常用和有效的方法之一。（略）38/473.3 最小二乘解的求法最小二乘解的求法22222222221y111,1111,)0(1)ln(1,ln)0(xcxbayxxxcxbacbxaxyyxycbxaxxycbxaxyyycbxaxycbxaxyyycbxaxyxbayxxyybaxxyxabyyybaxyxbayyyexabeayxbayaaxxyyaaeyxxxb 设设设设设设设设设设设设设设设设化成的拟合函数化成的拟合函数变量代换变量代换拟合函数类型拟合函数类型题的常见函数类型题的常见函数类型部分可化为线性拟合问部分可化为线性拟合问39/473.4 加
23、权最小二乘法加权最小二乘法n本节内容本节内容一一.加权最小二乘法加权最小二乘法二二.例例返回章节目录返回章节目录40/473.4 加权最小二乘法加权最小二乘法n一一.加权最小二乘法加权最小二乘法 重度：即权重或者密度，统称为重度：即权重或者密度，统称为权系数权系数。它的大。它的大小反映了数据（小反映了数据（xi,yi）地位的强弱。）地位的强弱。定义加权平方误差为：定义加权平方误差为：mkyxmiyxmiyxiiiiiii,1,0),(),1,0(),(),1,0(),(的的重重度度点点表表示示数数据据中中假假设设据据点点一一样样的的，在在拟拟合合的的数数各各点点的的重重要要性性可可能能是是不不
24、对对于于一一组组给给定定的的数数据据点点 miiiimiiiyx02*0222)(41/473.4 加权最小二乘法加权最小二乘法.a.aa.)(111n101211111121111*n*1*0*miiniimiiiimiiiminiiminiiminiiminiimiiimiiiminiimiiimiinyxyxyxxxxxxxxxaxaax ：那那么么相相应应的的法法方方程程组组为为如如果果选选用用的的拟拟合合曲曲线线为为特特例例：42/473.4 加权最小二乘法加权最小二乘法n二二.例例 例例3 已知一组实验数据（已知一组实验数据（xi,yi）及权）及权 Wi 如表所示。如表所示。若若
25、x 与与 y 之间有线性关系之间有线性关系ya+bx，试用最小二试用最小二乘法确定系数乘法确定系数 a 和和 b。P844028112864211227144321iiiyxWi43/473.4 加权最小二乘法加权最小二乘法n解解 因拟合曲线为一次多项式曲线（直线）因拟合曲线为一次多项式曲线（直线）1(x)=a+bx，故相应的法方程组形式如，故相应的法方程组形式如式式。将表中各已知数据代入即得法方程组将表中各已知数据代入即得法方程组 解之得解之得 358098421670121654baba467.66,885.12 a44/47小结小结n3.1 引言引言n3.2 什么是最小二乘法什么是最小二
26、乘法n3.3 最小二乘解的求法最小二乘解的求法n3.4 加权最小二乘法加权最小二乘法45/47作业与实验作业与实验n作业（上作业本）：作业（上作业本）：习题三（习题三（P89P89）：）：1 1、3 3n实验实验实验名称：实验二实验名称：实验二 最小二乘法最小二乘法实验目的：验证多项式曲线拟合的最小二乘解，进一实验目的：验证多项式曲线拟合的最小二乘解，进一步加深对最小二乘法的理解。步加深对最小二乘法的理解。实验日期：实验日期：n0909计计1111：5 5月月1313日（周五）日（周五）7 7、8 8节、节、2020日（周五）日（周五）7 7、8 8节节n0909计计6161：5 5月月101
27、0日（周二）日（周二）1 1、2 2节、节、1717日（周二）日（周二）1 1、2 2节节具体要求见另外文档具体要求见另外文档第四章第四章数值积分数值积分计算机学院计算机学院6 学时学时47/47本章内容本章内容n4.1 引言引言n4.2 牛顿牛顿柯特斯公式柯特斯公式n4.3 复合牛顿复合牛顿柯特斯公式柯特斯公式（*）n4.4 龙贝格算法龙贝格算法n4.5 高斯型求积公式高斯型求积公式（略）（略）n小结小结n作业与实验作业与实验48/47本章要求本章要求n1.理解数值求积的基本思想，掌握求积余项和理解数值求积的基本思想，掌握求积余项和代数精度的概念代数精度的概念n2.掌握梯形公式，掌握梯形公式
28、，Simpson公式及其误差估计；公式及其误差估计；了解了解Cotes公式公式;n3.掌握复合梯形公式，复合掌握复合梯形公式，复合Simpson公式及其误公式及其误差估计，了解复合差估计，了解复合Newton-Cotas公式；公式；n4.掌握龙贝格算法。掌握龙贝格算法。49/47作业与实验作业与实验n作业（上作业本）：作业（上作业本）：习题七（习题七（P279）：）：1（1）、）、3n实验实验实验名称：实验七、常微分方程初值问题数值实验名称：实验七、常微分方程初值问题数值解解 实验目的：设计改进的欧拉法程序；进一步加实验目的：设计改进的欧拉法程序；进一步加深对微分方程数值解的理解。深对微分方程数值解的理解。实验日期：实验日期：（请各班关注自己的实验时间）（请各班关注自己的实验时间）具体要求见另外文档具体要求见另外文档50 结束语结束语
