《应用数值分析》课件数值分析3最佳逼近和最小二乘法.ppt

1、第第3章章 函数的最佳逼近函数的最佳逼近 和和 离散数据的最小二乘拟合离散数据的最小二乘拟合3.1 引言引言3.2 内积空间中的最佳逼近内积空间中的最佳逼近 3.3 函数的最佳平方逼近函数的最佳平方逼近 3.4 勒让德多项式和切比雪夫多项式勒让德多项式和切比雪夫多项式3.5 离散数据的最小二乘拟合离散数据的最小二乘拟合3.6 连续函数的最佳一致逼近多项式连续函数的最佳一致逼近多项式3.7 曲面逼近曲面逼近 插值法插值法:插值节点处插值节点处误差为零，在其余误差为零，在其余点误差不一定小！点误差不一定小！本章目标本章目标:整体误差最小整体误差最小3.1 引言引言构造一个(相对简单的)函数 ，通过

2、全部节点,且()ys x()(0,1,)jjs xyjn可用 求已知点处 ()s x*().ys x0y1y*y1xnx0 xoxy*x回顾插值法插值法已知数据有误已知数据有误差怎么办？差怎么办？从整体角度考虑()()最称佳为。近的逼函数s xf x函数的最佳逼近问题：()对于给定的函数，f x要求在一个简单函数类 中，B()寻找一个函数，s xB()()误差在某种度使得量与的下到，达最小s xf x这一问题称为最佳逼近问题，引引 例例1 1温度温度t(0C)20.5 32.7 51.0 73.0 95.7电阻电阻R()765 826 873 942 1032已知热敏电阻数据：已知热敏电阻数据

3、：求求60600C时的电阻时的电阻R。2040608010070080090010001100 设设 R=at+ba,b为待定系数为待定系数引引 例例 2 2。函数的最佳逼近涉及到函数的最佳逼近涉及到两个两个问题：问题：1.简单函数类简单函数类的确定的确定：2.误差度量标准误差度量标准：多项式函数，三角函数类，有限元子空间，边界元子空间等。度量整体误差的标准主要采用范数，不同的范数得到不同的逼近方法和逼近函数。3.2 内积空间中的最佳逼近内积空间中的最佳逼近 内积空间中的最佳逼近12,span,内积空间维线性子基空间本思想：nMx xxUn因为是完备线性子空间（有限维），M由投影定理及投影性质

4、*1“”可知，存在是 在中的 最佳逼近 元。niiixMxxM*,即，xMxxM*(,)0(1,2,)jxxxjn*1(,)0(1,2,)niijixx xjn*1(,)(,)0 njiijix xx x*1(,)(,)(1,2,),nijijix xx xjn*1(,)(,)(1,2,)nijijix xx xjn 写成矩阵形式为*1111211*1222222*12(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)nnnnnnnnx xx xxxxxx xxxxxx xx xxxxxx x 记作*1 由于 可逆，存在唯一解，AAb*Ab*1 得最佳逼近元niiixx

5、法方程（或正规方程）*1(,)最佳逼近元niiixx x x*1111211*1222222*12(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)nnnnnnnnx xx xxxxxx xxxxxx xx xxxxxx x最佳逼近的误差估计22*22*平方误差xxxx2*2*均方误差xxxx()(0,1,2,)()()()0()0,.bjabaxp x dxjh xh x p x dxh xxa b 满足：(1)；(2)对于任意的非负连续函数，若，则3.3 函数的最佳平方逼近函数的最佳平方逼近12(),(),()子设为，空间nMspanxxx*12,()()()对于，求

6、函数，niia bif xSxxML*()s.t.()()min()(S xMf xSxf xS x*22()()()()min()()()即bbaaS xMp xf xSxdxp xf xS xdx1,()()其中niiiS xxM*()()最佳平方逼近而称为在中的。MSxf x2span 1,特别地：若线性子空间，nMx xx*)(则称为在次最多佳平方逼近项式中的。sxf xMn求解最佳逼近元：求解最佳逼近元：1111211122222212(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)nnnnnnnnfff 解法方程(,)()()(),(,)()()()bbij

7、ijjjaap xxx dxfp x f xx dx 其其中中*1()()niiiSxx 故故为为所所要要求求的的最最佳佳逼逼近近元元。*220(,)(,)niiifsf ff均均方方误误差差24 1,1()span 1,1例最求区间上函数在中的佳平方逼近多及均方误差。项式f xxMxx24012:1,解记，xx000102111222012(,)2,(,)2/3,(,)2/5(,)2/5,(,)2/7,(,)2/9(,)1(,)1/2(,)1/3 计算得，。fff 01222/32/512/32/52/71/22/52/72/91/3 故法方程为*0*1*21512810564105128

8、24 1,1()span 1,1例最求区间上函数在中的佳平方逼近多及均方误差。项式f xxMxx24012:1,解记，xx01222/32/512/32/52/71/22/52/72/91/3 故法方程为*0*1*21512810564105128*2415105105()()12864 1 28最的佳近为平方逼f xxsxxx24 1,1()span 1,1例最求区间上函数在中的佳平方逼近多及均方误差。项式f xxMxx24012:1,解记，xx*2415105105()()12864 1 28最的佳近为平方逼f xxsxxx*2(,)(,)0.0511 9 误差。均方f fs s24 1,

9、1()span 1,1例最求区间上函数在中的佳平方逼近多及均方误差。项式f xxMxx24012:1,解记，xx*2415105105()()12864 1 28最的佳近为平方逼f xxsxxx*2(,)(,)0.0511 9 误差。均方f fs s 20,1()一次最求上函数的。佳平项例方逼近多式xf xe011,:解记x:分析最佳平方逼近(,)()()内积bax yx t y t dt 一次多项式 1,Mspanx10 1(,)(,0,1),+1则ijijx x dxi jij 110100(,)=1,(,)1,xxfe dx efxe dx011112=1112 3故法方程为e*()0.

10、8731 1.6903 Sxx 20,1()一次最求上函数的。佳平项例方逼近多式xf xe2span 1,11121111232 1111221当最佳平方逼近空间时,法方程系数矩阵为nMx xxnHnnnn Hilbert矩阵当 较大时其条件数很大，n用数值方法求解是不稳定的,Hxb避免求解病态方程组！20,1()一次最求上函数的。佳平项例方逼近多式xf xe方法二：12,1,规化将正交范x 12,1,3(21)得 e ex11221(,)(,)3(3)则法方程为ef ef ee*1 12 2()0.8731 1.69 03Sxeex子空间中基的选取很重要2,中的正交系a bL正交多项式：0(

11、),若多项式序列满足iixxa b0,()()()(,0,1 ,2,)0 ,bjkjkakjkxxx dxj kAjk ,()则称其为上带权的正交系。a bx)(是首项系数不为零的 次多项式。nxn3.4 勒让德多项式和切比雪夫多项式勒让德多项式和切比雪夫多项式3.4.1 勒让德多项式勒让德多项式 21()(1)(0,1(),2,)2!1,1区间上定义的多项式序勒让德多项式 定义列：nnnnndP xxnn dx勒让德多项式的性质：2(2)!()2(!)1,的首项系数nnnnP xan20!()1,()(1),(1,2,)(2)!从而nnnnndP xP xxnndx 1是首项系数为 的勒让德

12、多项式。3.4.1 勒让德多项式勒让德多项式 0 1,1()=(2)1Legendre多项式在区间上带权正交，nnxP x20()1,1即是中的正交系。nkP xL112 (,)()()(,0,1,2,)210 由于nmnmmnP PP x Px dxn mnmn221()(0,1,2,)1,21 所以是中的规范正交系。nnP xnL3.4.1 勒让德多项式勒让德多项式 ()(1)(3,)nnnPxP x 4 Legendre多项式具有如下的递推关系：0111()1()21()()(),(1,2,)11nnnP xP xxnnPxxP xPxnnn(;)为数时是函奇数奇nnP x()为数时是函

13、。偶数偶nnP x3.4.1 勒让德多项式勒让德多项式 ()Legendre由递推公式可得到 次多项式的简单表达形式：nnP x012233424535()1()1()(31)21()(53)21()(35303)81()(637015)8P xP xxP xxP xxxP xxxP xxxx 1,3si21n例三次最佳平求方上函数的式。逼近多项x2(,)(0,1,2,3),21因为jjP Pjj23012311()=1(),()(31),()(53)22，P xP xx P xxP xxx()sin 1,12由于是解:区间上的连续函数，f xx故取正交多项式作为基函数，Legendre101

14、(,)sin02xf Pdx11218(,)sin,2xf Pxdx12211(,)(31)sin022xf Pxdx212341148(10)(,)(53)sin22xf Pxxdx 1,3si21n例三次最佳平求方上函数的式。逼近多项x()的三次最佳平方逼近多项式为f x23012311()=1(),()(31),()(53)22，P xP xx P xxP xxx()sin 1,12由于是解:区间上的连续函数，f xx故取正交多项式作为基函数，Legendre232412168(10)1()(53)2S xxxx31.5531910.562228xxarctan40,1求上函数的一次最佳

15、平方逼近例。多项式yx00112(,)2,(,),3计算得 P PP P01()=1(),取正，交基P tLegendrP tte0,tan1arc由于是定义在上的连解:续函数，yx11(1)1,1arcta22 n作代换转换为定义在上的函数。txty1011(,)arctandln222ty Pt1111(,)arctand2ln222ty Ptt1arctan 1,1213()(ln2)2ln2422 2在上的一次最佳平方逼近多项式为故tyy ttarctan40,1求上函数的一次最佳平方逼近例。多项式yx0,tan1arc由于是定义在上的连解:续函数，yx11(1)1,1arcta22

16、n作代换转换为定义在上的函数。txty1arctan 1,1213()(ln2)2ln2422 2在上的一次最佳平方逼近多项式为故tyy tt*13()(ln2)2ln2(21)arct 422 20,1an 从而在上的一次最佳平方逼近多项式yxxyx,()一般地，求函数在区间上的 次最佳平方逼近时，anbf xt11axb,1,1 变换区间 a b22babaxt11(1)bxtba()(+)22abbaf xft()g t 1,1)(求在区间上的 次最佳平方逼近g tn2代入xa btb aa b,()在区间上的 次最佳平方逼近f xa bn3.4.2 切比雪夫多项式切比雪夫多项式 2 1

17、,121()1在中，设定:权函，义数Lxx 0则由线性无关的多项式序列，kkx1).(通过正交化得到的序列，kkxGST,称为多项式Tchebichef()cos(arccos),11 可表示为nT xnxx切比雪夫多项式的性质：)1(（）是一个 次多项式，nT xn()cos(arccos),11 nT xnxx也可表示为如下递推关系0111()1,(),()2()(),(1,2,).nnnT xT xxTxxT xTxn0 0()1:显然时证，明nT x1()cos(ar 1ccos)时，nT xxxcos()c os令，则。nxT xncos(1)2coscoscos(1)(1)由于nn

18、nn11()2()()(1,2,)故。nnnTxxT xTxn切比雪夫多项式的性质：()cos(arccos),11 nT xnxx0111()1,(),()2()(),(1,2,).nnnT xT xxTxxT xTxn()由上述递推关系容易得到如下:nT x01()1,(,)T xT xx22()21 ,T xx33()43,T xxx4245356426()88+1,()16205,()32 4818 1 T xxxT xxxxT xxxx切比雪夫多项式的性质：()cos(arccos),11 nT xnxx21()1,1()12（）在上带权函数正交，nT xxx00(,),(,)(1)

19、2 并且nnT TT Tncos，证令明：x()cos (),0则，nT xn121()(1,)nmnmT x TxT Tdxx0coscossin ds innm 0coscosd nm 0,;/2,0 ;,0.nmnmnm切比雪夫多项式的性质：()cos(arccos),11 nT xnxx()cos(arccos3()（）nTxnxcos(arccos)nxcos(arccos)nxn(1)cos(arccos)nnx(1)()nnT x()()为奇数奇函数时是；nnT xnTx()()为偶数时。偶函是数nnTxT xn212221,1(,)1()1确定参数，使得取得最小值，并计算最小例

20、5：值。a b cI a b cxaxbxcdxx222()1 1,11()1问题等价于求在上关于权函数的二次最佳平方逼分析：近多项式。f xxxPx22222|而最小值即是平方误差fP2 (,)(,)f ff P212221,1(,)1()1确定参数，使得取得最小值，并计算最小例5：值。a b cI a b cxaxbxcdxx20121,21选取切比雪夫基函数解：TTx Tx001122(,),(,)(,)2T TT TT T0122(,)2,(,)0,(,)3 f Tf Tf T2220(,)24()0(21)()(),3故的二次最佳平方逼近多项式为jjjjjfTfP xTxT Tx21

21、0833x212221,1(,)1()1确定参数，使得取得最小值，并计算最小例5：值。a b cI a b cxaxbxcdxx20121,21选取切比雪夫基函数解：TTx Tx22108()33P xx810,0,33 abc22(,)而I a b c440.014629其它常用的正交多项式1.第二类切比雪夫多项式2 1,1()1xx在区间上带权的正交多项式2sin(n 1)arccosx(x)1nUx1210()()1sin(1)sin(1)0,2nmUx Uxx dxnmdmnmn 0111()1,()2,()2()(),(1,2,).nnnUxU xxUxxUxUxn2.拉盖尔多项式(

22、)xxe在区间0,+)上带权的正交多项式()()nxnxnndL xex edx200,()()e(n!),xnmmnL x Lxdxmn01211()1,()1()(12)()(),(1,2,).nnnL xL xxLxnx L xn Lxn 3.埃尔米特多项式2()xxe在区间(-,+)上带权的正交多项式22()(1)()nnxxnndHxeedx 200,()()e2 n!,xnmnmnHx Hxdxmn0111()1,()2()2()2(),(1,2,).nnnHxH xxHxxHxnHxn,a b区间及权函数不同，得到的正交多项式也不同。x0 x1x2x3x4xS(x)f(x)3.5

23、 离散数据的最小二乘拟合离散数据的最小二乘拟合212,(),(),()设是空间中的最乘：个小二法ma bxxxLm,线性无关函数1span，iimM1().)(miiiS xxM1()(),()实验或测量得的一组数iiinyf xxf x 1()(),记iiiinf xS x*1 ()()求，miiiSxxM 2*222()11s.t.min()()nniiiS xMiif xS x*221111()()min()()即minmnmijjiijjiKijijf xxf xx 本质上为：在空间中，nR12,子空间mMspan 12121(,)()()内积为niy yy i y i221范数为欧式

24、范数niiyy求最佳逼近元。2012span1,span,:，则解Mx x 5001(,)1 15,i 5101(,)13.250,iix 52201(,)12.503,iix 5111(,)2.503,iiixx 52211(,)2.090,iiixx 522221(,)1.826,iiixx 511(,)7.185,iiifyx5221(,)5.857,iiifyx501(,)19.942,iify2012span1,span,:，则解Mx x 0125 3.250 2.5039.9423.250 2.503 2.0907.185.2.503 2.090 1.8265.857法方程aaa0

25、121.036,0.751,0.928.aaa22()1.0360.7510.928P xxx为了反映某些测试点的值在所研究问题中所起的重要作用，通常用来衡量最加权的误佳逼差标准近问题.0(1,2,)中带权的内积和范数niRin1(,)niiiix yx y221niiixx20,(),1niia bxLn设设是是中中个个线线性性无无关关函函数数0span niiM1()()miif xmf x在在 个个相相异异点点的的样样本本值值已已知知，*0()()njjjsxxM 求求，*22()11()()()min()()()mmiiiiis xMiixf xsxxf xs x使使得得*()()sx

26、f xM称称为为在在中中的的最最小小二二乘乘加加权权拟拟合合函函数数，*()sx求求的的方方法法称称为为加加权权的的最最小小二二乘乘法法。()if xx在在点点 处处的的权权0000010101111101(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)nnmnnnnnfff 法法方方程程*0(,)jn*0()()njjjsxx*221()()()miiiixf xsx均均方方误误差差iR,:测得铜导线在温度 时的电阻求电阻温的系例与度关iiTRRT76.30 77.80 79.25 80.80 82.35 83.90 85.1019.1 25.0 30.1 36.0

27、40.0 45.1 50.01 2 3 4 5 6 7iTi取各点的权1(1,2,7)7ii 01=1，TiR,:测得铜导线在温度 时的电阻求电阻温的系例与度关iiTRRT76.30 77.80 79.25 80.80 82.35 83.90 85.1019.1 25.0 30.1 36.0 40.0 45.1 50.01 2 3 4 5 6 7iTi1(1,2,7)7ii权权 01=1，T解:77700101111177011111245.319325.83(,)1 11,(,)1,(,),777771566.5120029.445(,),(,)7777 iiiiiiiiiiiTTTRRRRT 7245.3566.5245.39325.8320029.445法方程abab70.5720.291RT范数是由内积诱导出来时，对应的最佳逼近问题的本质是投影理论求最佳逼近的要点：3、求法方程1、空间(内积的定义)2、子空间中的基底作业7：l1、本章小结；l2、课后习题：第1、2、5、6、8、12、14题；l3、数值实验题：第1-3题。