-函数拟合-计算方法课件及实验-教学课件.ppt

1、第第3 3章章 曲线拟合的最小二乘法曲线拟合的最小二乘法物理实验物理实验实验数据实验数据经验公式经验公式天才天才数学数学:一般方法一般方法？引子引子问题问题已知已知:niyxii,2,1),(求求:)(xfy 特点特点实验数据实验数据n 1实验值实验值 yi 有误差，个别点可能误差还比较大。有误差，个别点可能误差还比较大。方法:多项式插值多项式插值点点通过点点通过高次插值效果不好高次插值效果不好?启发启发,手工手工!12345678910123456789xaaxfy10)(xy坐标纸坐标纸 后勤集团印制,19811.描点描点:2.画直线画直线3.求出求出 a0,a1直线应该与所有点靠得比较近

2、直线应该与所有点靠得比较近或者说或者说:所有点所有点应该应该尽量靠近尽量靠近直线直线实例(续1)注意注意:xii曲线拟合问题仍然是已知仍然是已知 x1 xm;y1 ym,求一个简单易求一个简单易算的近似函数算的近似函数 f(x)来拟合这些数据来拟合这些数据。但是但是 m 很大；很大；yi 本身是测量值，不准确，即本身是测量值，不准确，即 yi f(xi)这时没必要取这时没必要取 f(xi)=yi,而要使而要使 i=f(xi)yi 总体上总体上尽可能地小。尽可能地小。这种构造近似函数这种构造近似函数 的方法称为的方法称为曲线拟合，f(x)称为称为拟合函数拟合函数称为称为“残差残差”常见做法：常见

3、做法：u使使 最小最小|)(|max1iimiyxP 较复杂，较复杂，不可导不可导u使使 最小最小 miiiyxP1|)(|不可导，求解困难不可导，求解困难u使使 最小最小 最小二乘问题最小二乘问题 miiiyxP12|)(|“使使 i=P(xi)yi 尽可能地小尽可能地小”有不同的准则有不同的准则1 最小二乘原理最小二乘原理如确定多项式如确定多项式 ，对于一组数，对于一组数据据(xi,yi)(i=1,2,N)使得使得 达到达到极小极小，这里这里 n N。nnxaxaaxP .)(10NiiiyxPF12)(naaa10F 实际上是实际上是 a0,a1,an 的多元函数，即的多元函数，即 Ni

4、inininyxaxaaaaa121010.),.,(F要使要使F 达到最小，可以用数学中拉格朗日求达到最小，可以用数学中拉格朗日求极极值的方法，即：值的方法，即：nkaFk,.,0,0这种方法称为数据拟合的最小二乘法；这种方法称为数据拟合的最小二乘法；P(x)为拟合曲线为拟合曲线 多项式插值虽然在一定程度上解决了由函数表求函数的近似表达式问题，多项式插值必须满足插值条件，所求出的曲线通过每一个观察点。但是，实验提供的数据通常带有测量误差，如果要求近似曲线严格地通过所给的每个数据点，就会使曲线保留着原有的测试误差，尤其个别数据误差较大时，插值效果不理想。曲线拟合的最小二乘法总的说来也是用较简单

5、的函数逼近一组已知数据，但它并不要求该函数的图形通过每一个已知点，而要求偏差的平方和为最小。最小二乘拟合线性拟合（拟合曲线为直线）线性拟合（拟合曲线为直线）xx1 x2 xNyy1 y2 .yN已知已知N个点个点拟合直线拟合直线xaay10*211010)(),(NiiixaayaaF令用最小二乘原理求用最小二乘原理求a0，a100aF0)(21100NiiixaayaF01aF0)(21101iNiiixxaayaF NiiiNiNiiNiiNiNiiyxxaxayxaai11121011110正规方程组正规方程组 iNiiNiiNiNiiNiiyxyaaxxxNi11101211例例已知一

6、组实验数据如表所示.试求最小二乘拟合曲线.xi2468yi1.12.84.97.20 1 2 3 4 5 6 7 8 x 87654321解:可设拟合曲线为 y*=a0+a1x NiiiNiNiiNiiNiNiiyxxaxayxaai11121011110用最小二乘原理，得正规方程组：正规方程组的系数列表如下：100.412016202.211.229.457.641636641.12.84.97.22468xiyixi2yixi 4.10012020162041010 aaaa解得02.11.110 aa所以拟合曲线为 y*=-1.1+1.02xx x1 x2 xmf(x)y1 y2 ymn

7、jjjnnxaxaxaxax01100)()(.)()()(2 2 最小二乘法的一般形式最小二乘法的一般形式 miinjijjmiiiyxayx12012)()(iiiyx)(mmyxyxyx)()()(2211 minjiijjnyxaaaaF12010)(),(以残差平方和最小问题的解来确定拟合函数的以残差平方和最小问题的解来确定拟合函数的方法。方法。(i=1,2,m)220kaFminjiijjikyxax100)()(2),1,0(nk由多元函数求极值的必要条件，有由多元函数求极值的必要条件，有可得可得即即imiikmiijnjikjyxxxa110)()()(0)()()(10 ii

8、kminjijikjyxxxa上式为由上式为由n n+1+1个方程组成的方程组，称个方程组成的方程组，称正规方程组正规方程组。njmiiikjmiijikyxaxx011)()()(imiikmiijnjikjyxxxa110)()()(),1,0(nkmiiikmiiniknmiiikmiiikyxxxaxxaxxa11111100)()()()()()()(),1,0(nk引入记号引入记号)(,),(),(21mrrrrxxx),(21myyyf),()(),(1ijmiikjkxx则由内积的概念可知则由内积的概念可知imiikkyxf1)(),(),(),(kjjk显然内积满足交换律显然

9、内积满足交换律正规方程组便可化为正规方程组便可化为),(),(),(),(1100faaaknknkk),1,0(nk的线性方程组。常数项为这是一个系数为),(),(fkjk将其表示成矩阵形式：将其表示成矩阵形式：的基，为函数类由于)(,),(),(10 xxxn必然线性无关。因此)(,),(),(10 xxxn其系数矩阵为对称阵。其系数矩阵为对称阵。所以正规方程组的系数矩阵非奇异所以正规方程组的系数矩阵非奇异,即即0),det(nnji根据根据Crame法则法则,正规方程组有唯一解，称其为最小二乘解。正规方程组有唯一解，称其为最小二乘解。),(),(),(10fffn),(),(),(010

10、00n),(),(),(11101n),(),(),(10nnnnnaaa10作为一种简单的情况，常使用多项式函数作为一种简单的情况，常使用多项式函数Pn(x)作作为为(xi,yi)(i=1,2,m)的拟合函数。的拟合函数。nnkkxxxxxxx)(,)(,)(,1)(10基函数之间的内积为：基函数之间的内积为：)()(),(1ijmiikjkxxmijikixx1mijkix1imiikkyxf1)(),(miikiyx1mkknkmkkkmkknmknkmknkmknkmknkmkkmkkmknkmkkyxyxyaaaxxxxxxxxm11110121111112111据实验数据分布特点选

11、取，可选幂函数类、指数据实验数据分布特点选取，可选幂函数类、指数函数类、三角函数类等。函数类、三角函数类等。)(),(),(10 xxxn（1）若）若(x)为一元函数，则函数曲线为平面图为一元函数，则函数曲线为平面图形，称形，称曲线拟合曲线拟合。（2）(x)为拟合函数，上式最小为拟合条件为拟合函数，上式最小为拟合条件（即要求拟合曲线与各数据点在（即要求拟合曲线与各数据点在y方向的误差平方向的误差平方和最小）。方和最小）。（3）函数类的选取：）函数类的选取：例例1：已知数据表：已知数据表：用最小二乘法求拟合这组数据的曲线。用最小二乘法求拟合这组数据的曲线。解：解：(1)绘出数据点的图形，可见这些

12、点大致位绘出数据点的图形，可见这些点大致位于一条直线附近：于一条直线附近：x0.00.20.40.60.8y0.91.92.83.34.2 x=0:0.2:0.8;y=0.0,1.9,2.8,3.3,4.2;a=polyfit(x,y,1)x1=0:0.1:0.8;y1=a(2)+a(1)*x1;plot(x,y,*)hold on;plot(x1,y1,-r)(2)选择拟合函数：选择拟合函数：(x)=a0+a1x，即取，即取 0(x)=1，1(x)=x为基函数。为基函数。(3)利用正规方程组得：利用正规方程组得：015213.121.26.84aa解得解得 a0=1.02，a1=4，于是，于

13、是(x)=1.02+4x为所求拟合函数。为所求拟合函数。3 非线性曲线的数据拟合非线性曲线的数据拟合使用最小二乘原理拟合数据时，拟合曲线的选择是很重要的，通常拟合曲线y*是由数据分布情况或经验确定的，不一定都是线性模型，但有的经过变换可化为线性模型 例：例：xy(xi,yi),i=1,2,Nxbay11 根据数据分布情况，可以选用双曲线作为拟合曲线xbay11 xxyy1,1 令令bxay 将将 化为化为 后易解后易解 a 和和b。),(ii yx),(iiyx如：根据经验公式如：根据经验公式xbeay(a,b 为常数为常数)线性化：线性化：由由 可做变换可做变换xbay lnlnbBaAxx

14、yy ,ln,lnBxAy 就是个就是个线性问题线性问题线性化：线性化：一般而言，以下四种形式都可以经过变换后化为直线拟合形式例：求一个形如y=aebx 的经验函数公式，使它能够和下列数据相拟合x1 2 3 4 5 6 7 8y15.3 20.5 27.4 36.6 49.1 65.6 87.8 117.6线性化：线性化：由由 可做变换可做变换xbay lnln iNiiNiiNiNiiNiiylnxylnbalnxxxNi111211用最小二乘原理，得正规方程组：用最小二乘原理，得正规方程组：4 加权最小二乘法加权最小二乘法 在实际的测量数据中，并不是所用数据在实际的测量数据中，并不是所用数

15、据都是等精度、等地位的。为了表示不同都是等精度、等地位的。为了表示不同数据的重要程度，可对数据赋予相应的数据的重要程度，可对数据赋予相应的权重。权重的大小代表数据的重要程度，权重。权重的大小代表数据的重要程度，利用赋予权重的数据，表示拟合曲线的利用赋予权重的数据，表示拟合曲线的方法，称为加权最小二乘法。方法，称为加权最小二乘法。解：已知函数关系为直线关系，则将数据直接代入法方程组式得 离散数据拟合的离散数据拟合的MATLAB函数函数一、一、polyfit1polyfit（）函数：求离散数据的多项式拟合（）函数：求离散数据的多项式拟合.命令格式为：命令格式为：a=polyfit(x,y,n)2p

16、olyval（）函数（）函数:求多项式在某一点处的函数值求多项式在某一点处的函数值.命令格式为命令格式为:y=polyval(p,x)例例1 利用利用polyfit作二次拟合，输出多项式的系数作二次拟合，输出多项式的系数,并并利用利用polyval计算拟合多项式值，画出拟合曲线计算拟合多项式值，画出拟合曲线.x=-2-1 0 1 2 3 4;y=19.5 10.2 3.5 4.8 12.4 26.1 43.9;a=polyfit(x,y,2)xx=-2:0.1:4;yy=polyval(a,xx);plot(xx,yy,x,y,*)数值分析数值分析函数逼近函数逼近运行得：运行得：a=2.977

17、4 -1.8869 4.2000.拟合曲线见图拟合曲线见图.-2-101234051015202530354045-2-101234051015202530354045二、二、lsqcurvefit非线性最小二乘拟合函数非线性最小二乘拟合函数.命令格式为：命令格式为：x=lsqcurvefit(fun,x0,xdata,ydata)例例2 利用利用lsqcurvefit作非线性最小二乘拟合作非线性最小二乘拟合.x=1 2 3 4;y=7 11 17 27;f=inline(a(1)*exp(a(2).*x),a,x);a=lsqcurvefit(f,4 0.4,x,y)运行得到运行得到:a=4

18、.4274 0.4515.数值分析数值分析函数逼近函数逼近三、三、lsqnonlin非线性最小二乘拟合函数非线性最小二乘拟合函数.命令格式为：命令格式为：x=lsqnonlin(fun,x0)例例3 利用利用lsqnonlin作非线性最小二乘拟合非线性最小二乘拟合.function y=curve_fun(p)x=1 2 3 4;y=7 11 17 27;y=p(1)*exp(p(2).*x)-y;a=lsqnonlin(curve_fun,4 0.4)编写拟合的目标函数编写拟合的目标函数curve_fun.m利用利用lsqnonlin函数求解函数求解运行得到运行得到:a=4.4274 0.4

19、515.四、四、nlinfit非线性回归函数非线性回归函数 命令格式为命令格式为：beta=nlinfit(x,y,fun,beta0)数值分析数值分析函数逼近函数逼近例例9 利用利用nlinfit作非线性最小二乘拟合非线性最小二乘拟合.x=1 2 3 4;y=7 11 17 27;f=inline(a(1)*exp(a(2).*x),a,x);a=nlinfit(x,y,f,4 0.4)运行得到运行得到：a=4.4274 0.4515.数值分析数值分析函数逼近函数逼近5 利用利用正交函数做最小二乘拟合正交函数做最小二乘拟合内积空间和内积的定义内积空间和内积的定义范数的定义和性质范数的定义和性

20、质正交函数正交函数正交多项式正交多项式利用正交多项式求解正则方程利用正交多项式求解正则方程),(),(),(10fffn),(),(),(01000n),(),(),(11101n),(),(),(10nnnnnaaa10一、内积空间定义1 设在区间(a，b)上非负函数 ，满足条件：)(x1)存在(n=0，1，)；2)对非负的连续函数g(x)，若dxxxban)(|=0，(3.2)dxxxgba)()(则在(a，b)上g(x)0，就称 为区间(a，b)上的权函数.)(x定义5 设f(x)，g(x)a，b，是a，b上的权函数，积分badxxgxfxgf)()()(),(称为函数f(x)与g(x)

21、在a，b上的内积.5.1 5.1 基础知识基础知识badxxgxfxgf)()()(),(=0，(3.7)则称f与g在a，b上带权 函数族 ，满足关系)(x)(0 x)(1x)(xn;,0,0)()()(),(kjAkjdxxxxkbakjkj(3.8)就称 是a，b上带权 的正交函数族；若Ak1就称之为标准正交函数族。例如，三角函数族1，cosx，sinx，cos2x，sin2x，就是在区间 ，上的正交函数族。因为k)(x定义2 若f(x)、g(x)Ca，b.满足(1,1)=2 ，(sinkx，sinkx)=(coskx，coskx)=(k=1，2，)，)(0sincossincosjkdx

22、jxjxkxkx0sincoskxdxkx 在Rn空间中任一向量都可用它的一组线性无关的基表示，对内积 空间的任一元素，f(x)Ca，b也同样可用线性无关的基表示，此时相应地有而 例如 就是a，b上的线性无关函数族.若 是Ca，b中的线性无关函数，且a0,a1,an是任意实数，则,1nxx0(),()nxx (3.9)01,nspan下面给出判断函数族 线性无关的充要条件.(0,1,)kkn定义8 若 ，。(x)在a，b上连续，如果)(0 x()nx0011()()()nnaxaxax当且仅当a0=a1=an=0时成立，则称在 a，b上是线性无关的，若函数族 0,n),1,0(kk中的任何有限

23、个 线性无关，则kk称为 线性无关函数族.定理1 在a，b上线性无关的充分必要条件是它的克来姆(Gramer)行列式 ，其中01(),(),(),nxxx0,nG 00010101110,1,01(,)(,)(,)(,)(,)(,)(,)(,)(,)nnnnnnnnGG (3.10)定理的证明由读者完成.5.2 5.2 正交多项式正交多项式正交函数系概念正交函数系概念满满足足定定义义：如如果果函函数数 ),(,),(),(10 xxxn 0 ,()()()(0,1,2,)0 bjkjkakjkxxx dxj,kjk,()0a bx称此函数系为区间上关于权函数的正交函数系。.),2,1,0(1则

24、则为为标标准准正正交交函函数数系系若若 kk 1)(20 ,2sin,2cos,sin,cos,1 的的正正交交函函数数系系。关关于于权权函函数数上上，为为例例如如：xxxxx .:则则称称为为正正交交多多项项式式系系均均为为代代数数多多项项式式中中的的若若正正交交函函数数系系注注ii 2:,().a bx定理区间上关于权函数的正交函数系一定是线性无关的13:n()(0,1,2,n)4:()(0,1,2,),(),():1(),kkkkxkxkkxa bxkQx定理任何次数不超过 的多项式都可由线性表出。定理设是最高次项系数不为零的 次多项式 则是上关于权函数的正交多项式的充要条件对于任意至多

25、次多项式均有11,()()()0 (1,2,)bkkkkaQxx Qx dxk5.2 GramSchmidt方法方法),3,2()()()()()(1)(4.621110 kxxxxxxxkkkkk ：定定理理)2,3,()()()()(),(),()1,2,()()()()(),(),(2221221121211111 kdxxxdxxxkdxxxdxxxxxbakbakkkkkkbakbakkkkkk )(,的的正正交交多多项项式式系系。上上关关于于权权函函数数是是xba 其中其中.1,0sin)(:多多项项式式上上的的二二次次最最佳佳平平方方逼逼近近在在求求例例xxf 项项式式正正交交化

26、化方方法法构构造造正正交交多多利利用用解解SchmidtGram :2,2sin),(100 xdxf1)(0 x,1),(00 21)21()21(),(),(10210211112 dxxdxxxx 21),(),(00001 x 21)(1 xx 121)21(),(),(1010200112 dxdxx 121)21()()()()(202122 xxxxx 2333)72060()60720(12012)(xxx 0)sin21(),(101 xdxxf 312)sin61(),(321022 xdxxxf 2),(),(0000 fa,121)21(),(10211 dxx 01

27、a,1801),(22 322)12(60 a5.3 常用的正交多项式常用的正交多项式 ),2,1,0()1(!21)()(1)(210 nxdxdnxPxxPxPnnnnn（一）（一）Legendre多项式多项式 ,1)(1,1)(.1的的正正交交函函数数系系上上关关于于权权函函数数是是 xxPn mnnmndxxPxPPPmnmn 122 0)()(),(11),2,1()()()12()()1(11 nxnPxxPnxPnnnn 满满足足递递推推公公式式)(.2xPn)35(21)()13(21)()(1)(332210 xxxPxxPxxPxP 的的正正交交多多项项式式系系上上关关于于

28、权权函函数数求求1)(,xba 1,1,)(2 baababxt作作变变换换),2,1,0()(2()(nababxPtPnn,1,1上上的的正正交交多多项项式式系系是是若若 nP .,上上的的正正交交多多项项式式系系是是则则baPn)(xPn2012()cos(arccos)(0,1,2,)arccos;()1 ()()21nT xnxnxxT xT xx T xx令（二）第一类（二）第一类Chebyshev多项式多项式 .2)(,)(,1,11次次多多项项式式的的为为首首项项系系数数为为多多项项式式称称为为第第一一类类其其中中nxTChebyshevxTxnnn 1120 0 2 01)(

29、)(),(mnmnmndxxxTxTTTmnmn 且且的的正正交交多多项项式式上上关关于于权权函函数数是是 11)(1,1)(.12xxxTn 性质：性质：),2,1()()(2)()(.211 nxTxxTxTxTkkkn满满足足递递推推公公式式n)(inixnxTin,2,1 212cos 11 )(.3 个个互互异异零零点点，上上有有，在在.1|)(|),1,0(cos 1 1-1 )(.4 knknxTnknkxnxT且且个个极极值值点点，上上有有，在在),2,1(!)1()(1)(1)(010 nxknknxLxxLxLknkkn的正交多项式的正交多项式上关于权函数上关于权函数，是区间是区间xnexxL )(0)(.1),2,1()()()12()(121 nxLxxLxnxTkkk（三）拉盖尔（三）拉盖尔(Laguerre)多项式多项式性质：性质：满满足足递递推推公公式式)(.2xLn 02 )!(0 )()(),(mnnmndxxLxLeLLmnxmn且且