1、 函数逼近的基本概念函数逼近的基本概念 正交多项式正交多项式Lagrange and Chebyshev 最佳一致逼近多项式最佳一致逼近多项式 最佳平方逼近多项式最佳平方逼近多项式 曲线拟和的最小二乘法曲线拟和的最小二乘法 最佳平方三角逼近及有理逼近最佳平方三角逼近及有理逼近 本章继续讨论用简单函数本章继续讨论用简单函数近似代替近似代替较复杂函较复杂函数的问题数的问题.上章提到的插值就是近似代替的方上章提到的插值就是近似代替的方法之一法之一,插值的近似标准是在插值点处误差为插值的近似标准是在插值点处误差为零零.但在实际应用中但在实际应用中,有时不要求具体某些点有时不要求具体某些点误差为零误差为
2、零,而而要求考虑整体的误差限制要求考虑整体的误差限制 ,这就这就引出了拟合和逼近的概念引出了拟合和逼近的概念.拟合与逼近拟合与逼近 对函数类对函数类A中给定的函数中给定的函数 f(x),记作记作f(x)A,要求在另一类简单的便于计算的函数类要求在另一类简单的便于计算的函数类 B 中求函数中求函数 p(x)B,使使 p(x)与与 f(x)的误差在的误差在 某种意义下最小某种意义下最小.函数类函数类A通常是区间通常是区间a,b 上的连续函数上的连续函数,记作记作Ca,b,称为函数逼近空称为函数逼近空 间间;而函数而函数B通常为通常为n次多项式次多项式,有理函数或分有理函数或分 段低次多项式等段低次
3、多项式等.数学上常把在各种集合中引入某一些不同的确数学上常把在各种集合中引入某一些不同的确定关系称为集合以某种空间结构赋予，并将这定关系称为集合以某种空间结构赋予，并将这样的集合样的集合称为空间。称为空间。nRR例例1、按向量的加法和数乘构成实数域按向量的加法和数乘构成实数域 上的上的线性空间线性空间-例例2、对次数不超过对次数不超过 n 的实系数多项式，按的实系数多项式，按 加法和数乘构成数域上的多项式线性加法和数乘构成数域上的多项式线性 空间空间-nH例例3、所有定义在、所有定义在 a,b 集合上的连续函数集合上的连续函数全体，按函数的加法和数乘构成连续函数全体，按函数的加法和数乘构成连续
4、函数空间空间-,baC1)线性无关线性无关 设集合S是数域P上的线性空间,元素x1,x2,xnS,如果存在不全为零的数a1,a2,anP,使得 1 122.0,nna xa xa x则称x1,x2,xn线性无关.2)范数的定义范数的定义设设S为线性空间为线性空间,xS,若存在唯一实数若存在唯一实数 满足条件：满足条件：(1)x0;当且仅当当且仅当x0时时,x0;(正定性正定性)(2)x|x,R;(齐次性齐次性)(3)xyxy,x,yS.(三角不等式三角不等式)则称则称 为线性空间为线性空间S上的范数上的范数,S与与 一起称为赋范线性空间一起称为赋范线性空间,记为记为X.|在Rn上的向量 x(x
5、1,x2,xn)TRn,三种常用范数为称为：3)几种常用范数几种常用范数 称为范数或最大范数 1称为 范数 2称为 范数|x|,11nxii1n2221|x|iix|max|()|,a x bff x 类似的对连续函数空间Ca,b,若fCa,b可定义以下三种常用函数的范数函数的范数 称为范数1|()|,baff xdx1称为范数1222|(),baffx dx2称为范数设X为一个内积空间,对 u,vX有 2.|(,)|(,)(,)u vu uv v称为柯西施瓦次不等式.柯西施瓦次不等式柯西施瓦次不等式 魏尔斯特拉斯定理魏尔斯特拉斯定理 设f(x)Ca,b,则对任何0,总存在一个代数多项式p(x
6、),使|)()(|xpxf),(),(),(),(),(),(),(),(),(212222111211nnnnnnuuuuuuuuuuuuuuuuuuG在a,b上一致成立。定理定理：设X为一个内积空间,u1,u2,unX,矩阵称为格拉姆矩阵,则G非奇异的充分必要条件是u1,u2,un线性无关线性无关。记区间a,b上所有连续函数的全体为Ca,b,可以证明Ca,b是一个线性空间,把所有次数不超过n的多项式全体记为Pn,则 Pn是Ca,b的子空间.若(x),g(x)Ca,b,则称()()baf x g x dx为(x)与g(x)的内积内积,记为(,g),函数的内积函数的内积满足(1)(1)(,g)
7、=(g,g)=(g,);若若(,g)=0,g)=0,称称(x)(x)与与g(x)g(x)正交正交 ,记为记为g.g.22(,)()baff ffx dx(2)(2)(c(c,g)=c(,g)=c(,g);,g);(3)(3)(1 1+2 2,g)=(,g)=(1 1,g)+(,g)+(2 2,g);,g);利用内积可以定义函数的平方模利用内积可以定义函数的平方模(1)(1)2 2 0,0,而且而且2 2=0=0(x)=0;(x)=0;(2)(2)c c2 2=|c|=|c|2 2;(3)(3)+g+g 2 22 2+g g 2 2 考虑到考虑到(x)(x)在区间在区间a,ba,b上各点的函数值
8、比重不同上各点的函数值比重不同,常引进加权形式的定义常引进加权形式的定义 (,)()()()baf gx f x g x dx22()()bafx fx dx这里函数(x)(x)是非负连续函数,称为a,b上的权函数权函数.它的物理意义可以解释为密度函数.权函数权函数3.2 什么是正交多项式什么是正交多项式1)正交的定义正交的定义若f(x),g(x)Ca,b,(x)为a,b上的权函数且满足)1(,0)()()()(),(badxxgxfxxgxf),(,),(),(10 xxxn)2(;,0;kj ,0)()()(),(kjAdxxxxkkjbakj则称f(x)与g(x)在a,b上带权正交正交.
9、若函数族满足关系 ()kx则称是a,b上带权(x)正交函数族；若1,kA 则称之为标准正交函数族。设 是a,b上首相系数an0为零的n次多 项式,(x)为a,b上的权函数,如果多项式序列 满足关系式(2),则称多项式序 为在a,b上带权(x)正交,称 为a,b上带 权的 n 次正交多项式次正交多项式.)(xn0)(xn0)(xn)(xn)(,sinsinkjjxdxkx0例如、例如、三角函数系：三角函数系：1，cosx，sinx，cos2x，sin2x，是是 区间区间-，上的正交函数系，因为上的正交函数系，因为)(,coscoskjjxdxkx0,cossin0jxdxkx,cossin0kx
10、kx,cossin022kxkx实际上，这就是付里叶实际上，这就是付里叶(Fourier)逼近的基函数逼近的基函数.2)如何构造正交多项式如何构造正交多项式 只要给定区间a,b及权函数,均可由一组线性无关的幂函数1,x,xn,利用逐个正交化手续构造出正交多项式序列 如此得到的正交多项式有如下性质：(1)是具有最高次项系数为1的n次：0)(xn,.).2,1()()(),()(,()(,1)(10n0nxxxxxxxxjnjjjjnn)(xn(2)任何n次多项式Pn(x)Hn均可表示为 的线性组合.(3)当kj时,与任一次数小于k的多项式正交.)(),.,(),(10 xxxn)(,0)(),(
11、xxxkkj且(4)成立递推关系,.)1,0()()()()(11nxxaxxnnnnn,.)2,1()(),(/()(),(),(),(/()(),(0,x)(,1)(11n10nxxxxxxxxxxnnnnnnnnn其中0)(xn)(xnbannndxxxxxxx.)()()(),(2并且(5)设 是在a,b上带权(x)的正交多项式序列,则 (n1)的n个根都是在区间(a,b)内的单重实根.41ln),(100 xdxxx1010001ln1ln),(xdxdxx)()()()()()(111120000222xxxxx00001)()()(xxx1)(0 xxxxln1ln)(例题：利用
12、 Gram-schmidt 方法构造 0,1 上带权 的前3个正交多项式 xx1ln)(210,解：利用正交化公式来求 2521775)41(7591)(222xxxxx1445)41()ln(),(10212dxxxxx101022111447)16121)(ln)41)(ln(),(dxxxxdxxx41)(1 xx91ln),(10202xdxxx于是于是3）几种常用的正交多项式）几种常用的正交多项式 勒让德多项式当区间-1,1,权函数(x)1时,由1,x,xn,正交化得到的多项式就称为勒让德多项式,并用P0(x),P1(x),Pn(x),表示.其简单的表达式为 最高项系数为1的勒让德多
13、项式为),2,1()1(!21)(,1)(20nxdxdnxPxpnnnnn.)1()!2(!)(2nnnnxdxdnnxP 勒让德多项式的性质勒让德多项式的性质 n.m 122;,0)()(11，nnmdxxPxPmn)()1()(xpxpnnn)2,1()()()12()()1(11nxnpxxpnxpnnnn(2)奇偶性奇偶性(3)递推关系递推关系(1)正交性正交性且有以下常用公式(4)16/)5105315231()(8/)157063()(8/)3035()(2/)35()(2/)13()()(1)(2466355244332210 xxxxpxxxxpxxxxpxxxpxxpxxp
14、xp在区间在区间-1,1内有内有n个不同的个不同的实零点实零点。()np x时,由序列1,x,xn,正交化得到的多项式就是切比雪夫多项式,它可表示为 Tn(x)=cos(narccosx),|x|1若令xcos，则Tn(x)=cosn，0.,11)(2xx切比雪夫多项式切比雪夫多项式区间为-1,1当权函数(1)递推关系递推关系1184832)(52016)(188)(34)(12)()(1)()()(2)(246635524433221011xxxxTxxxxTxxxTxxxTxxTxxTxTxTxxTxTnnn切比雪夫多项式的性质切比雪夫多项式的性质(2)切比雪夫多项式Tk(x)在区间-1,
15、1上带权 正交且(3)T2k(x)只含x的偶次幂偶次幂,T2k+1(x)只含x的奇次幂奇次幂.0 ,;0n ,2m;n ,01)()(112mnmxdxxTxTmn21/1)(xx,2,1,212cosknkxk(4)Tn(x)在区间-1,1上有n个零点).(22201xTknxknnknn若将xn用T0(x),T1(x),Tn(x)的线性组合表示,则其公式为3.3 最佳一致逼近多项式最佳一致逼近多项式 最佳一致逼近多项式最佳一致逼近多项式 是讨论 fCa,b,在Hn=span1,x,xn中求多项式 ,使其误差 这就是通常所指的最佳一致逼近或切比雪夫逼近问题.)(*xPn|min|)()(|m
16、ax|*nHPnbxanPfxPxfPfnn为f(x)与Pn(x)在a,b上的偏差.显然 ,的全体组成一个集合,记为 ,它有下界0.|)()(|max|),(xPxfPfPfnbxann0),(nPf),(nPf),(nPf偏差偏差为了说明这一概念,先给出以下定义.设Pn(x)Hn,f(x)Ca,b,称若记集合的下确界为 则称之为f(x)在a,b上的最小偏差最小偏差.最佳逼近多项式最佳逼近多项式假定f(x)Ca,b,若存在Pn*(x)Hn使 (f,Pn*(x)En,|)()(|maxinf),(infxPxfPfEnbxaHPnHPnnnnn则称Pn*(x)是f(x)在a,b上的最佳一致逼近最
17、佳一致逼近多项式或最小偏差逼近多项式。注意,定义并未说明最佳逼近多项式是否存在,但可以证明下面的存在定理.定理定理：若f(x)Ca,b,则总存在Pn*(x)使|)()(|maxinf),(infxPxfPfEnbxaHPnHPnnnnnExPxfn|)()(|*其中偏差点定义偏差点定义 设f(x)Ca,b，P(x)Hn，若在xx0有,|)()(|00 xfxP,|)()(|00 xfxP|)()(|max|)()(|00 xfxPxfxPbxa就称x0是P(x)对f(x)的偏差点.若 称x0为“正”偏差点 若 称x0为“负”偏差点.为了研究最佳逼近多项式的特性，先引进偏差点的定义.由于函数P(
18、x)f(x)在a,b上连续,因此,至少存在一个点x0a,b使,|)()(|00 xfxP1,|)()(|)1()()(xfxPxfxPkkk也就是说P(x)的偏差点总是存在的。下面给出反映最佳逼近多项式特征的切比雪夫定理.切比雪夫定理 Pn(x)Hn是f(x)Ca,b的最佳逼近多项式的充分必要条件是P(x)在a,b上至少有n+2个轮流为“正”，“负”的偏差点，即有n+2个点ax1x2.xn+2b，使 这样的点组称为切比雪夫交错点组.切比雪夫定理说明用P(x)逼近f(x)的误差曲线yP(x)f(x)是均匀分布的由这个定理还可得以下重要推论.推论推论 若f(x)Ca,b，则在Hn中存在唯一的最佳逼
19、近多项式 利用切比雪夫定理可直接得到切比雪夫多项式Tn(x)的一个重要性质，即定理定理在区间-1,1上所有最高次项系数为1的n次多项式中,)(21)(1xTxnnn121n即可以理解为)()(*xpxf与零的偏差等于最小当且仅当)(21)()()(1*xTxxpxfnnn与零的偏差最小，其偏差为最佳一次逼近多项式最佳一次逼近多项式 切比雪夫定理 给出了最佳逼近多项式P(x)的特性,但要求出P(x)却相当困难.下面讨论n=1的情形.假定f(x)C2a,b.且f(x)在(a,b)内不变号，我们要求最佳一次逼近多项式 P1(x)=a0+a1x至少有3个点ax1x2x3b，使)3,2,1,1(|)()
20、(|max)1()()(11kxfxPxfxPbxakkk由于 在a,b上不变号,故 单调,在(a,b)内只有一个零点,记为x2,于是)(xf )(xf1)(axf0)()()(21221xfaxfxP(1)(12axf于是即另外两个偏差点必定是区间的端点 b ,31xax由此得到)()()()()(2102101010 xaaxfafaaabfbaaafaaa代入到(2)得2)()(2)()(220 xaabafbfxfafa这就得到最佳一次逼近多项式P1(x)，其方程为)2()()(21212xaxaxfafy)()()(21xfabafbfa有（1）式得)()()(21xfabafbfa
21、有（1）式得例例1、设 32()421f xxxx 不超过2的多项式 )(*2xp使它为)(xf的最佳一致逼近多项式。试在-1，1 上寻找一个次数在-1，1 上)(*2xp 应满足 min|)()(|max*211xpxfx 由最小偏差定理解：解：所求)(xf 的首项系数为 4)34(41)(21)()(41332*2xxxTxpxf 从而142)34()()(23*2xxxxxfxp例例2、设,)(baxfm,M 是)(xf在,ba上的 min,max 值，则)(xf的零次最佳一致逼近多项式为)(21)(*0Mmxp，证明：)(xf的连续性知,21baxx 使得 mxf)(1Mxf)(2令)
22、(21)(0Mmxp 则)(21)(21)()(101mMMmmxpxf由2021()()()21 ()2fxpxMmMMm，即)(21|)()(|max0mMxpxfbxa 故 21,xx 是)(0 xp 与)(xf 的偏差点，从而由 chebyshev 定理知)()(21)(0*0 xpMmxp即当,)(baCxf时)(xf逼近多项式为)(21)(*0Mmxp的零次最佳一致例例3、求 13)(34xxxf 在 0，1 上求三次最佳逼近多项式。12 xt 则当 x 在 0,1 变化时 1,1t 此时 1)21(3)21()21()(34tttfxf 设)(*3xp为)(xf解：令在 0,1
23、上的三次最佳一致逼近多项式由于)21(tf 的首相系数为 412故有)(21)21()21(16414*3tTtptf 即*344342111()()(4)2216*8111()3()1(881)2216*8ttpfTtttt*42423321()(31)8(21)8(21)116*851129 544128p xxxxxxxx 从而 1,0 x3.4 最佳平方逼近最佳平方逼近 最佳平方逼近及其算法最佳平方逼近及其算法 考虑在区间a,b上一般的最佳平方逼近问题时对f(x)Ca,b及Ca,b中的一个子集 若存在)(),(),(10 xxxspann)(xSdxxSxfxxSxfxSxfbaxSx
24、S2)(22)(22)()()()()()()(minmin,baC使下式成立 则称 是f(x)在子集 中的最佳平方逼最佳平方逼近函数近函数.为了求 ,由(1)可知该问题等价于求多元函数 的最小值.由于 是关于 的二次函数,baC)(xSdxxfxaxaaaIniiiban2010)()()(),(),(10naaaInaaa,10)(xS利用多元函数求极值的必要条件),1,0(0nkaIk),1,0(0)()()()(20nkdxxxfxaxaIknjjjbak即于是有)1(),1,0()(),()(),(0nkxxfaxxkjnjjk是关于 的线性方程组,称为法方程法方程,n,21由于)(
25、),(),(10 xxxn线性无关，故系数矩阵的行列式非奇异，即0),(det10nG于是方程组(1)有唯一解),1,0(*nkaakk).()()(*0*0*xaxaxSnn从而有以下证明)(xS必定满足最佳平方逼近的定义即dxxSxfxxSxfxSxfbaxSxS2)(22)(22)()()()()()()(minmin但我们只需证明有对任意的)(xSdxxSxfxdxxSxfxbaba22*)()()()()()(作dxxSxfxdxxSxfxDbaba22)(*)()()()()(dxxSxfxSxSxdxxSxSxbaba)(*)()(*)()(2)()()(2*0 )(,)(*()
26、(,()()()()()()()()()()(0*xxxfdxxxSxdxxxfxdxxxSxfxknjjjkkbakbakba即上式第二项积分为零。于是可得0)()()(2*dxxSxSxDba即得)(xS必定是所求函数的最佳平方多项式。则要在Hn中求n次最佳平方逼近多项式,1,0)(,1)(,)(Cxfxxxkk.)(10nnxaxaaxS此时kkkjkkjddxxxfxxfjkdxxxx1010)()(),(11)(),(若取若用H表示)12/(1)2/(1)1/(1)2/(13/12/1)1/(12/11nnnnnH.)()(),(,11)(),(1010kkkjkkjddxxxfxx
27、fjkdxxxx对应的矩阵,即nnkjnnGG),(即 若用1,x,xn做基求最佳平方多项式,计算简单，但当n较大时,系数矩阵H是病态的,因此直接求解法方程是相当困难的,故通常是采用正交多项式做基底构造最佳平方多项式。TnTnddddaaaa),(),(1010则称H为希尔伯特希尔伯特(Hilbert)矩阵矩阵,若记向量则的系数。最佳平方多项式即为所求的解nkkkkkxaxSnkaadHa1*)(),2,1(用正交函数族作最佳平方逼近)(),(),(),(),(),(,)(1010 xxxxxxspanbaCxfnn，而则0)(),(,0)(),(xxjixxjjji)1(),1,0()(),
28、()(),(0nkxxfaxxkjnjjk设满足条件若函数组)(),(),(10 xxxn;,0;kj ,0)()()(),(kjAdxxxxkkjbakj故法方程组)2(),1,0()(),(/()(),(nkxxxxfakkkk)3()()()(),()(022nkkkkxxxxfxS100010001 ),(),(),(),(),(),(),(),(),()(,),(),(2122212211110nnnnnnnnnxxxGG为非奇异对角阵,且法方程的解为于是f(x)Ca,b在中的最佳平方逼近函数为 可得均方误差为)4()()(),()()()(210222222nkkknnxxxfxf
29、Sxfx由此可得贝塞尔贝塞尔(Bessel)不等式不等式.)()(22022xfxanikk若f(x)Ca,b,按正交函数族展开，而系数)(),(),(10 xxxn),1,2,(*nkak)2(),1,0(;)(),(/()(),(nkxxxxfakkkk按下式计算0)(kkkxa得级数称为f(x)的广义傅立叶(Foureir)级数,系数)(),(),(10 xxxn),(),(),(10 xxxspann),1,0)(nkxk),1,0(),(nkxk.0)()(2limxSxfnn),1,2,(*nkak称为广义傅立叶系数.是正交多项式,设可由正交化得到。则有下面的收敛定理；nxx,1设
30、f(x)Ca,b,S*(x)是由(3)给出的f(x)的最佳平方逼近多项式，其中是正交多项式族,则有下面考虑函数f(x)C-1,1,按勒让得多项式P0(x),P1(x),Pn(x)展开,由(2),(3)可得)()()()(*1*10*0*xpaxpaxpaxSnnn其中.)()(212)(),()(),(11dxxPxfkxPxPxPxfakkkkk根据(4),平方误差为.122)(|)(|2011222knkkakdxxfx此时由定理结论可得：0)()(2*minxSxfnn对首项系数为1的勒让德多项式有以下性质nP定理：在所有最高次项系数为1的n次多项式中,勒让德多项式nP在-1,1上与零的
31、平方误差最小。2*|0)()(|xSxf即可以理解为)1()!2(!)()()(2*nnnnxdxdnnxPxSxf与零的平方误差最小。最小等价于1.问题的提出及最小二乘原理问题的提出及最小二乘原理问题的提出：在函数的最佳平方逼近中，要求函数是连续的，而实际问题中常常见到函数只是在一组离散点上给定，即科学实验中常见到的实验数据的曲线拟和，例如天气预报系统即为此例。求拟和曲线时首先要确定所找的拟和曲线的形式，这不是单纯的数学问题，还与所研究问题的运动规律及所得观测的数据有关；通常要从问题的运动规律及给定数据描图，确定函数的形式，并通过实际计算得到较好的结果，这类方法就称为曲线拟和的最小二乘法。用
32、4次多项式拟和以下数据 x0=0:0.1:1;y0=-.447,1.978,3.11,5.25,5.02,4.66,4.01,4.58,3.45,5.35,9.22;n=4;p=polyfit(x0,y0,n)xx=0:0.01:1;yy=polyval(p,xx);plot(xx,yy,-b,x0,y0,.r,MarkerSize,20)xlabel(x)ylabel(y)利用Matlab中的库函数进行拟和的数值例子：实验00.10.20.30.40.50.60.70.80.91-20246810数据拟合方法与数据插值方法不同，它所处理的数据量大而且不能保证每一个数据没有误差所以要求一个函数
33、严格通过每一个数据点是不合理的。数据拟合方法求拟合函数，插值方法求插值函数。这两类函数。对拟合函数不要求它通过所给的数据点，而插值函数则必须通过每一个数据点.最大的不同之处是例如，在某化学反应中，测得生成物的质量浓度 y(10 3 g/cm3)与时间t（min）的关系如表所示t12346810121416y4.00 6.41 8.01 8.79 9.53 9.86 10.33 10.4210.5310.61显然，连续函数关系y(t)是客观存在的。但是通过表中的数据不可能确切地得到这种关系。何况，由于仪器测量中所带的误差的影响，测量数据难免有误差。因此只能寻求一个近拟表达式()yt0246810
34、1214164567891011寻求合理的近拟表达式，以反映数据变化的规律，这种方法就是数据拟合方法。数据拟合需要解决两个问题：第一，选择什么类型的函数)(t作为拟合函数（数学模型）；第二，对于选定的拟合函数，如何确定拟合函数中的参数。tx1x2x3x4x5x6x7x8x9x10yy1y2y3y4y5y6y7y8y9y10数学模型应建立在合理假设的基础上，假设的合理性首先体现在选择某种类型的拟合函数使之符合数据变化的趋势（总体的变化规律）。拟合函数的选择比较灵活，可以选择线性函数、多项式函数、指数函数、三角函数或其它函数，这应根据数据分布的趋势作出选择。为了问题叙述的方便，将例1的数据表写成一
35、般的形式假设拟合函数是线性函数，即拟合函数的图形是一条平面上的直线。而表中的数据点未能精确地落在一条直线上的原因是实验数据的误差。则下一步是确定函数y=a+b x中系数a和b各等于多少？从几何背景来考虑，就是要以a和b作为待定系数，确定一条平面直线使得表中数据所对应的10个点尽可能地靠近这条直线。一般来讲，数据点将不会全部落在这条直线上，如果第k个点的数据恰好落在这条直线上，则这个点的坐标满足直线的方程，即a+b xk=y k如果这个点不在直线上，则它的坐标不满足直线方程，有一个绝对值为，线性拟合（线性模型）kkybxa的差异（残差）。101kkkybxa这是关于a和b的一个二元函数，合理的做
36、法是选取a和b，使得这个函数取极小值。但是在实际求解问题时为了操作上的方便，常常是求a和b使得函数1012)(),(kkkybxabaF达到极小。为了求该函数的极小值点，令0aF，0bF得，于是全部点处的总误差是0)(2101kkkybxa1010)(2kkkkxybxa这是关于未知数a和b的线性方程组。它们被称为法方程，又可以写成101101210110110110kkkkkkkkkkkyxbxaxybxa101101210110110110kkkkkkkkkkkyxbxaxybxa024681 01 21 41 64567891 01 11 2求解这个二元线性方程组便得待定系数a和b，从而
37、得线性拟合函数y=a+b x。下图中直线是数据的线性拟合的结果。假设拟合函数不是线性函数，而是一个二次多项式函数即拟合函数的图形是一条平面上的抛物线，而表中的数据点未能精确地落在这条抛物线上的原因是实验数据的误差。则下一步是确定函数二次函数拟合（二次多项式模型）中系数a0、a1和a2各等于多少？从几何背景来考虑就是要以a0、a1和a2为待定系数，确定二次曲线使得表中数据所对应的10个点尽可能地靠近这条曲线。一般来讲，数据点将不会全部落在这条曲线上，如果第k个点的数据恰好落在曲线上，则这个点的坐标满足二次曲线的方程，2210 xaxaay2210kkkxaxaay如果这个点不在曲线上，则它的坐标
38、不满足曲线方程，有一个误差（残差）。于是全部点处的总误差用残差平方和表示10122210210)(),(kkkkyxaxaaaaaF这是关于a0、a1和a2的一个三元函数，合理的做法是选取a0、a1和a2，使得这个函数取极小值。为了求该函数的极小值点，令00aF01aF02aF10122210101221010122100)(20)(20)(2 kkkkkkkkkkkkkkxyxaxaaxyxaxaayxaxaa即求解这一方程组可得二次拟合函数中的三个待定系数。下图反映了例题所给数据的二次曲线拟合的结果。024681012141645678910113.5 曲线拟合的最小二乘法 如果f(x)只
39、在一组离散点集xi,i=0,1,m上给定这就是科学实验中经常见到的实验数据(xi,yi),i=0,1,m的曲线拟合,这里yi=f(xi),i=0,1,m,要求一个函数y=S*(x)与所给数据(xi,yi),i=0,1,m拟合,若记误差i=S*(x)-yi,i=0,1,m,=(0,1,m)T,设)(),(),(10 xxxn是Ca,b上线性无关函数族,在)(),(),(10 xxxspann这就是一般的最小二乘逼近,用几何语言说,就称为曲线拟合的最小二乘法.)1(,)()(02)(020222minmiiixSmiiimiiyxSyxS)2(.)()()()(1100mnxaxaxaxSnn中找
40、一函数这里使误差平方和)(*xSmiiiiyxSx0222)()(mimiiiiiinxfxaxaaaI02010)()()(),(用最小二乘法求拟合曲线的问题,就是在形如(2)的S(x)中求一函数)(*xSy 使加权平方和取得最小。它转化为求多元函数的极小点由求多元函数极值的必要条件,有 *1*0,naaa问题.),1,0()()()(),(),()()(),(00nkdxxfxfxxxkikimiikikijmiikj若记上式可改为)3(),1,0(),(0nkdaknjjjk这方程称为法方程,可写成矩阵形式dGa,),(,),(1010TnTnddddaaaa.(4).),(),(),(
41、),(),(),(),(),(),(101110101000nnnnnnG要使法方程(3)有唯一解*1*0,naaa就要求矩阵G非奇异,其中 必须指出,)(),(),(10 xxxn在a,b上线性无关不能推出矩阵G非奇异。为保证(3)的系数矩阵非奇异,必须加上另外的条件:哈尔(Haar)条件,)(),(),(10baCxxxn设的任意线性组合在点集)(m ,2,1 ,nmixi上至多只有n个不同的零点,则称)(),(),(10 xxxn上满足哈尔(Haar)条件。在点集)(m ,2,1 ,nmixi显然nxxx,12在任意m(mn)个点上满足哈尔条件。所以一般)(),(),(10 xxxn为n
42、xxx,12则一定可以保证系数矩阵非奇异，于是方程（3）必存在唯一解.,1,0 ,*nkaakk从而得到函数的最小二乘解为：)(xf且成立下式2020*)()()()()()(miiiimiiiixfxSxxfxSx即)(*xS必为所求的最小二乘解。)()()()(*1*10*0*xaxaxaxSnn解：作散点图如下：从右图可以看出这些点接近一条抛物线，因此设所求公式为xxxPaaa2210)(x012345y531123例4:已知一组观测数据如表所示，试用最小二乘法求一个多项式拟合这组数据。由最小二乘法得如下式子：6122)(),(210210iixaxaayaaaii6122612612)
43、(2)(2)(2210221012100iiiiiiixxxxaxaayaaxaayxaaxaayaiiiiiii整理并代入表中的数据得：0)()(0)()(0)()(2102102106146136126126136126161612616161aaayaaaxyxaaxayiiiiiiiiiiiiiiiiiiixxxxxxxiiiiii代入数据解之可得：5000.0,7857.2,7143.4210aaa故所求多项式为：xxxP25000.07857.27143.4)(例：由书中的数据表),4,3,2,1,0(),(iyxii可以确定拟合曲线方程为bxaey它不是线性函数，可通过在上式两端
44、取对数的方法将其化为线性表达式：lnln()lnbxyaeabxAbx也即,1,ln ,xyybxAy故数据点),4,3,2,1,0(),(iyxii转换为),4,3,2,1,0(),(iyxii有最小二乘法取1)(,)(,1)(10 xxxx422.14),(404.9),(875.11),(5.7),(5)(),(401400402114010400000iiiiiiiiiiiiyxyyyxxxx可得故得法方程组如下:0.50.57.509.4047.5011.87514.422 1.122,0.505,3.071 3.071AxAbAbAbaeye解 得于 是 可 得 拟 合 曲 线 为
45、用正交多项式做最小二乘拟合)1(),1,0(),(0nkdaknjjjk)(),(),(10 xxxn),1,0(00)()()(),(0nkkjAkjxxxkmiikijikj )2(),1,0(,020nkxxxxfxfamiikimiikiikkkk用最小二乘法得到的方程组其系数矩阵G是病态的,但如果是关于点集xi带权(xi)(i=0,1,m)正交函数族,即则方程(1)的解为现在我们根据给定节点x0,x1,xm及权函数(x)0,造出带权(x)正交的多项式Pn(x).注意nm,用递推公式表示Pk(x),即 且平方误差为202222nkkkaAf)3(.)1,2,1()()()()()()(
46、)(1)(1110110nkxPxPxxPxPxxPxPkkkkk这里 xPk是首项系数为1 的k次多项式，且由其正交性得：)4()1,1()1,1,0(,1,1,0210202021nkPPPPxPxxPxnkPPPxPxPxPxPxxPxPxxPxxakkkkmiikimiikikkkkkkkkkmiikimiikiik .0,000000000010010PPPPPxPxPPPPaxPPPP下面用归纳法证明这样给出的Pk(x)是正交的。由(3)第二式及(4)中的第一个表达式,有 下式成立。nkkllsslPPsl;,1,01,1,0)(0),(及对)5(),(),(),(),(),)()
47、,(11111skkskkskskkskkskPPPPaPxPPPPPaxPP20ks11ks现假定均成立，要证(Pk+1,Ps)=0 对s=0,1,k均成立。由(3)有由归纳法假定,当时(Pk,Ps)=0，(Pk-1,Ps)=0另外,xPs(x)是首项系数为1的s+1次多项式,它可由P0,P1,Ps+1的线性组合表示,而 故由归纳法假定又有 0,),(),(skskxPPPxP于是由(5),当2 ks(Pk+1,Ps)=0再看),(),(),(),(1111111kkkkkkkkkkPPPPaPxPPP由假定有0),(1kkPP).,(),(),(),(1011kkjkjjkkkkkkPPP
48、cPPxPPPxP利用(4)中k表达式及以上结果,得.0),(),(),(-)P,P(x )P,(P11kk1-k1kkkkkkkkPPPPPP最后,由(4)有0111),P(P,PP,PxP)-,P =(xP ),P(P)-,P(P)-a,P)=(x P,P(Pkkkkkkkkk-kkkkkkkkk于是已证明了由(3)及(4)确定的多项式)(xPk(k=0,1,n，nm)组成一个关于点集xi的正交系.的线性组合作用正交多项式)(xPk最小二乘曲线拟合只要根据公式(3)及(4)逐步求Pk(x)的同时,相应计算出系数：,n),(kxiPxxPxfx,PPf,Pamikimiikiikkkk10*
49、020并逐步把ak*Pk(x)累加到S(x)中去,最后就可得到所求的拟合曲线).()()(S(x)y1100 xPaxPaxPann这是目前最好的不用 解方程组而可以利用递推方法得到多项式拟和的算法。3.6最佳平方三角逼近当)(xf为周期函数时自然想到用三角多项是做平方逼近会更好，一下介绍连续及离散点上的三角逼近问题。1.连续型连续型设)(xf是以2为周期的平方可积函数，用三角多多项式)sin()cos()sin()cos(21)(110nxbnxaxbxaaxSnnn做最佳平方逼近函数，可根据三角函数组如下的正交性，)sin(),cos(,),sin(),cos(,1kxkxxx可得)(xf
50、在区间2,0上的最佳平方三角逼近多项式)(xSn的系数如下：),.1,0()sin()(1)cos()(12020nkdxkxxfbdxkxxfakkkkba,称为Fourier系数，函数)(xf按Fourier系数展开得到的级数称为Fourier级数，记为：00)sin()cos(21kkkkxbkxaa且级数一致收敛到)(xf。2.离散型离散型当)(xf只是在给定的离散点集1,1,0,2NjjNxj上已知时，则可以类似地得到离散点集正交性与相应的Fourier级数，一下只给出奇数个点的情形。令在给定点集上是正交的，成立函数组，可以证明对任意sin,cos,sin,cos102,1,0,12
