1、为了进一步讨论函数逼近问题为了进一步讨论函数逼近问题,以及为了后续内容的需要以及为了后续内容的需要,我我们的着眼点不能再局限在一般多项式上们的着眼点不能再局限在一般多项式上,而要给出一类具有特而要给出一类具有特殊性质的多项式殊性质的多项式,即正交多项式即正交多项式.第二章第二章 最佳平方逼近最佳平方逼近一、正交多项式一、正交多项式（一）正交函数的概念 定义定义 给定函数给定函数(),x xa b若若()x满足满足:()0,(,);xxa b(1)()0bax dx(2)权函数权函数()x的一种解释是物理上的密度函数的一种解释是物理上的密度函数,相应的相应的()bax dx表示总质量表示总质量.
2、()x=常量常量,表示质量分布是均匀的表示质量分布是均匀的.(3)积分积分()bnax x dx存在存在,n=0,1,.()x则称则称 为为a,b上的权函数上的权函数()()()(,)baf gx f x g x dx为函数为函数f 与与g在在a,b上的内积上的内积.内积具有下列简单性质内积具有下列简单性质:我们知道我们知道,一个向量的长度的几何概念一个向量的长度的几何概念,对于函数空间及逼近有对于函数空间及逼近有许多自然的应用许多自然的应用.正如在通常的二维或三维空间中正如在通常的二维或三维空间中,我们有一种我们有一种度量两个向量度量两个向量u 及及v之间距离的方法之间距离的方法,我们也想用
3、长度来度量我们也想用长度来度量一个逼近的好坏一个逼近的好坏.在这一点上常用范数这个词在这一点上常用范数这个词.定义定义 给定给定 ,()x是是a,b上的权函数上的权函数,称称(),(),f x g xc a b(1)(,)(,)f gg f(2)(,)(,);f gf gR(3)1212(,)(,)(,)ffgf gfg(4)0,(,)0ff f当当定义定义 一个实值函数称为一个函数空间的范数一个实值函数称为一个函数空间的范数,如果它在如果它在空间处处有定义并满足条件空间处处有定义并满足条件:(1)(1)最大值范数最大值范数:(2)(2)欧氏范数欧氏范数(L2范数范数):(1)0,f(2)为任
4、意常数为任意常数;ff(3)fgfg在闭区间上连续的函数在闭区间上连续的函数 的最常见范数有的最常见范数有:()f x(1.1)max();,ff xxa b(1.2)1222()()abfxf xdx定义定义 若内积若内积(,)()()()bkjkjaxxx dx 0,()0,()kjkAjk则称则称 k是是a,b上带权上带权()x的正交函数系的正交函数系.当当()kx是代数多是代数多项式时项式时,称为正交多项式称为正交多项式.下面我们列举几个最常见的正交函数系下面我们列举几个最常见的正交函数系.(,)()()()0baf gx f x g x dx满足满足:则称则称 与与 在区间在区间 上
5、带权上带权()x，若函数，若函数 0,1,2,n 正交fg,a b例例 1、三角函数系三角函数系 22coscos0,()sinsin0,()cossin0sincoskxjxdxkjkxjxdxkjkxjxdxkxdxkxdx例例 2 2、Legendre Legendre 多项式多项式2n1()=(1),n=0,11.32!nnnndP xxn dx1，在区间在区间-,上两两正交上两两正交,因为因为 cos,sin,cos2,sin2,cos,sin,xxxxnxnx即多项式即多项式:k+1121()=()(),1,2,11kkkkPxxP xPx kkk是是-1,1-1,1上的正交多项式
6、上的正交多项式,且有且有 11()()kmpx px dx0,()1.42,()21kmkmk01()=1,P()=,P xxx232311()=(31),P()=(53),22P xxxxx4241()=(35303)8P xxx事实上事实上,设设 ,由分部积分法得由分部积分法得 km112!()()k mkmk mP x P x dx1221(1)(1)kmkmkmddxxdxdxdx11122111(1)(1)mkmkmkddxxdxdx 1221(1)(1)(1)m kkmkm kdxxdxdx 11()()0kmP x P x dx若若 ,则则km1212!()k kkk kPx d
7、x212221(1)(1)(1)kkkkkdxxdxdx 1k21=(-1)(2)!(1)kkxdx11=(2k)!(1)(1)kkxxdx1111=(2k)!(1)(1)1kkkxxdxk121(1).3.2.1=(2k)!(1)(1)(2).2kk kxdxkkk22111(!)(1)=(2k)!(2)!(21)kkxkk若若 ,则有则有 km221(!)2,21kkk于是有于是有 1212()21kPx dxk例例 3 3 Chebyshey Chebyshey 多项式多项式nT()=cos(narccos),n=0,1,2,1.5xx 即多项式即多项式 在区间在区间-1,1上关于权函数
8、上关于权函数 122()=(1-)xx正交正交,且且01T()=1,T()=,xxx2323T()=2-1,T()=4-3,xxxxx 42411T()=8-8+1,2,1,2,.nnnxxxTxxTxTxn1211()()1kmT x Tc dxx0,km,k=m=0 ,k=m 02()cos(),0nT xn于是有于是有 12101()()coscos1kmT x Tx dxkm dx 0,k=m=0,02kmkm事实上事实上,若若 则有则有 cos,0,x例例、Laguerre 多项式多项式 (),0,11.6nxnxnndLxex endx即多项式即多项式 的的n次正交多项式次正交多项
9、式,且且 是在是在 0,+)上带权上带权 xe0()()xkme L x Lx dx20,(n!),k=mkm例例 5、Hermite 多项式多项式 01()1,()1L xL xx 22()24L xxx233()6 189L xxxx22nm()=(-1)(),n=0,1,21.7nxxndHxeedx即多项式即多项式 01()=1,()=2,H xH xx2323()=4-2,()=8-12,HxxH xxx424()=16-48+12Hxxx535()=32-160+120H xxxx 2()()xmkeHx Hx dx0,2!,nkmnkm的的n次正交多项式次正交多项式,且有正交关系
10、式且有正交关系式:是在区间是在区间(,)上带权上带权 2xe（二）、（二）、正交多项式的性质正交多项式的性质 10(),(0)(1.8)nnnngxA xAxAA0,1,2n 若记若记*()(),nnngxgxAn 则则 的最高次项的系数为的最高次项的系数为1，并且，并且 也是在也是在 上带上带 权正交的权正交的 次多项式。次多项式。*()ngx*()ngx,a b 设设 是在是在 上带权正交的多项式序列，其中上带权正交的多项式序列，其中 表示表示 次正交多项式：次正交多项式：,a b()kgx()ngxn 性质性质1 关于权函数关于权函数 的任意正交函数系的任意正交函数系 都是线性都是线性
11、无关的。无关的。()x()kgx0()()1.9nkkkq xC gx1(),()0,(0,1,)knqx gxkn特别地有特别地有 1(,()0.(0,1,).knxgxkn 事实上，要是事实上，要是 则以则以 乘等式乘等式 的两边并积分，得到的两边并积分，得到 由此可知由此可知()()kx gx00()()0,nnC gxC gx00,1,2,.kCkn 推论推论1 任何次数不超过任何次数不超过 的多项式的多项式 可由正交多项可由正交多项 式式 线性表出，即线性表出，即n()q x01(),(),()ngx g xgx推论推论2 任何次数不超过任何次数不超过 的多项式的多项式 必定同必定同
12、 带权带权 正交正交,即即 n()kqx1()ngx1-1()(-)()-()(1.10)nnnnnxxxgggx其中其中*11(,)/(,),(,)/(,).nnnnnnnnnnxgggggggg0011+1+1g()=()+()+()(1.11)nnnxxC gC gCxxxg性质性质2 对于最高次项系数为对于最高次项系数为1的正交多项式的正交多项式 存存 在着递推关系在着递推关系()kgx证明证明 由于由于*()nxgx是是 次多项式，因此可由次多项式，因此可由*011(),(),()ngx gxgx1n 线性表出，即存在线性表出，即存在 使使011,nC CC并积分并积分比较比较 两边
13、的系数，可见两边的系数，可见 。两边乘以。两边乘以*()()kgxx1nx11nC有有,nkkkkxggCgg从而从而 nkkk(g,g)/(g,g)kCx 1111,/,nnnnnCgxggg而而 *11100=+()nnnnxgxgxCgxC gx故故 n-1nnn(g,g)=(g,g)x*kxg，所以1kn当当 时，因为时，因为 是是 次多项式，次多项式，1kn*(,)0nkgxg0,0,1,2kCkn当当 时时 1kn于是有于是有*111n=(,)/(,)=nnnnnCg ggg*=(,)/(,)=nnnnnnCg xgg g把这些结果代入（把这些结果代入（1.111.11）式，得到）
14、式，得到 *11()=()+()()nnnnnnxgxgxgxgx即即 *11()=(-)()-()nnnnngxxgxgx证毕。证毕。当当 时，则有时，则有 kn1111*21=()()()nnnnnnnnnnAAAxgxgxAAgx其中其中(,)/(,)nnnnnxgggg11(,)/(,)nnnnngggg*0()()()()()0bbnnaax gx dxx gx gx dx推论推论 对于最高次项系数为对于最高次项系数为 的正交多项式的正交多项式 ,有递推有递推 关系式关系式kA()kgx性质性质3 次正交多项式次正交多项式*()ngx有有 个互异的实根，并且全个互异的实根，并且全 部
15、位于区间部位于区间 内。内。nn(,)a b证明：证明：取固定的取固定的 ,假定假定*,(0)ngx则则(1)n n 此与正交多项式的定义相矛盾。于是至少有某一数此与正交多项式的定义相矛盾。于是至少有某一数1(,),xa b*1()0,ngx*()ngx使使 现假设现假设 是是 的重根，即的重根，即*2112()()(),nngxxxQx则则*221()()/()nnQxgxxx*21()()()0()bnnagxx gxdxxx另一方面却有另一方面却有*2211()()()()()()0()bbnnnaagxgxx gxdxxdxxxxx1x是是 次多项式，由正交多项式的定义有次多项式，由正
16、交多项式的定义有 2n 最佳平方逼近问题的提法是：设最佳平方逼近问题的提法是：设 是是 上的连续函数，上的连续函数，是所有次数不超过是所有次数不超过 的多项式的集合，在的多项式的集合，在 中求中求 逼近逼近 ，使，使此时称此时称 为为 在在 上的最佳平方逼近多项式。上的最佳平方逼近多项式。我们将要研究我们将要研究 是否存在？是否唯一？如何求得是否存在？是否唯一？如何求得？,a bnnH nPx f x 1/2222infnbnnaP xHfPxf xPxdxfPnH f x nPx nPx,a b f x nPx二、最佳平方逼近问题二、最佳平方逼近问题（一）、（一）、最小二乘拟合多项式最小二乘
17、拟合多项式 例例1 x求电阻求电阻 和温度和温度 间的关系间的关系。y测得铜导线在温度测得铜导线在温度 时的电阻时的电阻 如下如下 yxk1234567温度x19.125.030.136.040.045.150.0电阻y76.3077.8079.2580.8082.3583.90 85.10解决这类问题通常的步骤如下解决这类问题通常的步骤如下:xy(1)(1)用一坐标将用一坐标将 ，值描于图上值描于图上 yx（1）(2)凭视觉知，凭视觉知，在一条直线在一条直线上的两测附近，于是可设上的两测附近，于是可设 ，近近似的成直线关系。似的成直线关系。(,)iix yyxyyaxb上面的直线关系称为数学
18、模型。在第上面的直线关系称为数学模型。在第 次观测数据中，次观测数据中，与与实测值实测值 有误差有误差 k yky,1,2,2.1kkkkkyyyabxkn通常称为残差。通常称为残差。k它是衡量被确定的参数它是衡量被确定的参数 和和 （也就是近似多项式（也就是近似多项式 ）好坏的重要标志。）好坏的重要标志。ab ya bx 确定参数确定参数 ，原则：原则：，ab使残差绝对值中最大的一个达到最小，即使残差绝对值中最大的一个达到最小，即 为最小；为最小；使残差绝对值之和达到最小，即使残差绝对值之和达到最小，即 为最小；为最小；使残差的平方和达到最小，即使残差的平方和达到最小，即 为最小；为最小；m
19、axkkTkk2kk 原则原则确定待定参确定待定参数，从而得到近似多项式的方法，就是数，从而得到近似多项式的方法，就是通常所说的通常所说的最小二乘法最小二乘法。用最小二乘法确定参数用最小二乘法确定参数 和和 ab，应使，应使 721,kkka byabx取最小值。因此，应有取最小值。因此，应有7120kkkyabx7120kkkkyabxx由此，得到如下线性方程组由此，得到如下线性方程组 771172721117kkkkkkkkkkkabxyaxbxx y解之有解之有 70.527,0.291ab70.5720.291yx从而得近似多项从而得近似多项 式式一般来说，设给定一组数据一般来说，设给
20、定一组数据,1,2,2.2kkxykm则适当选择系数则适当选择系数 后，使后，使 01,na aanm2011,2.3mnknkka aayPx达到最小的多项式达到最小的多项式 102.4nnnP xa xa xa称为数据称为数据 的的最小二乘拟合多项式最小二乘拟合多项式，或变量，或变量 之间的之间的数学模型（经验公式）。数学模型（经验公式）。2.2,x y即即 或写成或写成 0110,0,1,2,mnjkknkkkyaa xa xxjn1011111,0,1,mmmmjjjj nkkkknkkkkky xaxaxaxjn由于由于 非负，且为非负，且为 的二次多项式，故的二次多项式，故必有最小
21、值，其最小值可如下求得：必有最小值，其最小值可如下求得：01,na aa01,na aa0,0,1,jjna令：令：引进记号引进记号 则上述方程组成为则上述方程组成为11mmjjjkjkkkksxuy x,01 1,0,1,2.5jjj nnjs asasaujn这是这是 系数系数 满足的方程组，称为满足的方程组，称为正规方程正规方程组（或法方程组）组（或法方程组）。nP x01,na aa可以证明，当可以证明，当 互异时，该方程组有唯一解互异时，该方程组有唯一解 01,nx xx01,na aa它们使得它们使得 取最小值。如此，我取最小值。如此，我 2.3们便得们便得 到了最小二乘拟合多项式
22、到了最小二乘拟合多项式 。nP x例例7 设已知函数设已知函数 的表列值为的表列值为 f x 试按最小二乘法构造试按最小二乘法构造 的二次近似多项式。的二次近似多项式。f x0.20.50.70.8511.221 1.649 2.014 2.340 2.718yx解解 经简单计算可得关于参数经简单计算可得关于参数 的方程组为的方程组为 012,a a a01201201253.2502.5039.942,3.2502.5032.09070185,2.5032.0901.8265.857.aaaaaaaaa解之得解之得 故故0121.036,0.751,0.928,aaa 221.0360.75
23、10.928.P xxx三、一般最小二乘逼近问题的提法三、一般最小二乘逼近问题的提法4、小结、小结1、广义多项式与权系数、广义多项式与权系数2 2、一般最小二乘逼近问题的提法、一般最小二乘逼近问题的提法 3 3、正规方程组、正规方程组（一）、广义多项式与权系数（一）、广义多项式与权系数（1）、广义多项式、广义多项式 设函数系设函数系 线性无关，则其有限项线性组合线性无关，则其有限项线性组合,0,1,2,kxk 0nnkkkPxax称为称为广义多项式广义多项式。例如例如 011cossincossinnnaaxbxanxbnx0101nk xk xk xna ea ea e（2）、“权系数权系数
24、”的概念的概念 在例在例6中，如果要研究低温时电阻与温度的关系，显然低温中，如果要研究低温时电阻与温度的关系，显然低温下测得的电阻值更重要一些，而另外一些电阻值的作用小下测得的电阻值更重要一些，而另外一些电阻值的作用小些。这在数学上表现为用和些。这在数学上表现为用和 替代替代 右端的和式。此处右端的和式。此处 是任意的正数，通常称之是任意的正数，通常称之为权系数，而称为权系数，而称 为加权和。为加权和。213.1mkknkkyPx2.3k3.1（二）、一般最小二乘逼近问题的提（二）、一般最小二乘逼近问题的提法法（1）、离散型）、离散型 设给定一组数据设给定一组数据 和一组权和一组权系数系数 ，
25、要求广义多项式，要求广义多项式 ，使得，使得,1,2,kkxykm12,m 0k nPxnm213.2nkknkkyPx最小。这时最小。这时 称为数据称为数据 关于权系数关于权系数 的最小二的最小二乘拟合多项式。乘拟合多项式。nP x,kkxyk2、连续型、连续型 设已知设已知 ，权函数，权函数 ，并且，并且在在 上只有有限个点上上只有有限个点上 。要求广义多项式。要求广义多项式 ，使得使得,yf xC a b 0 x,a b 0 x nP x 23.3bnaxPxf xdx最小。这时最小。这时 称为函数称为函数 在区间在区间 上关于上关于权函数权函数 的的最小二乘逼近多项式最小二乘逼近多项式
26、。nP x yf x,a b x注意，注意，可看成可看成 中中 且且 3.33.2kkkxx 0maxkx的极限。通常，的极限。通常，“最小最小”也可说成也可说成“最优最优”或或“最佳最佳”；“二乘二乘”可可说成说成“平方平方”或或“均方均方”；当；当 或或 时，时，“关于权函数关于权函数”或或“关于权系数关于权系数”的字样，常常略而不提。的字样，常常略而不提。1k 1x离散情形，定义离散情形，定义 与与 的内积为的内积为 f x g x 1,3.4mkkkkf gf xg x ,3.5baf gx f x g x dx连续情形，定义连续情形，定义 与与 的内积为的内积为 f x g x则由此
27、所引入的范数则由此所引入的范数 1221mkkkkfgfxg x 122bafgxf x g xdx便给出了两个函数便给出了两个函数 与与 之间的之间的“距离距离”或接近程度的度量。所谓或接近程度的度量。所谓平方逼近正是按照这种度量方式来规定其逼近概念的。依这平方逼近正是按照这种度量方式来规定其逼近概念的。依这种度量方式，我们可将两种情形下的最小二乘逼近问题统一种度量方式，我们可将两种情形下的最小二乘逼近问题统一说成是：说成是：fg求广义多项式求广义多项式 ，使得，使得 最小。其中最小。其中 依依 式。我们可求得式。我们可求得 的系数的系数 所满足的线所满足的线性方程组，即所谓性方程组，即所谓
28、正规方程组正规方程组。P x2,3.6Py PyPy 0nkkkP xax3.6 P x01,na aa据微分学可知，使据微分学可知，使 取极小值的取极小值的 应满足条件应满足条件ja0,0,1,jjna3.7（三）、正规方程组（三）、正规方程组由于由于 ,)(,)2(,Py PyP Pyy PyP PP yy y 000000,2,2,nnnkkrrkkkrknnnkrkrkkkrkaaayy yaaayy y 从而从而000,2,2,2,nnnrjrkkjjkkjjrkkjaayaya 故条件故条件 变为变为 或者或者 亦即亦即 条件条件 可以看做是每个可以看做是每个 都与都与 正交。正交
29、。3.7 0,0,1,3.8nkjkjkayjn 0,0njkkkay,0,0,1,3.9jPyjn3.90,1,jjnPy对于离散情形，若对于离散情形，若 ，可引进，可引进 阶矩阵阶矩阵 ，并令其第并令其第 行第行第 列元素为列元素为 ，则，则 的的第第 行第行第 列元素列元素1k1mnAi ijjixxTA Ajkj 11,mmijikjikijkiix xxx 又令又令 0101,TTnmxa aayyyy则可将则可将 式写成式写成 3.8TTA AxA y3.10从而从而 由下列方程组所决定由下列方程组所决定 01,na aa00001100100111110011,nnnnnnnnn
30、naaayaaayaaay 3.112Py可以证明，正规方程组可以证明，正规方程组 的解存在而且唯一，且使为最小的解存在而且唯一，且使为最小 3.11事实上，由于事实上，由于 线性无关，从而对于任意非零向量线性无关，从而对于任意非零向量 01,n 01,Tna aa，于是二次型，于是二次型0nkkka0000000,0nnnnnnijijiijjjjjjijijjja aaaaa 说明此二次型正定，故方程组说明此二次型正定，故方程组 的系数行列式大于零，的系数行列式大于零，因此方程组因此方程组 的解存在而且唯一。现设的解存在而且唯一。现设 是任意广义多项是任意广义多项式，式，则，则3.11 P
31、 x 0njjjP xP xx ,Py PyPPPy PPPy,2,PP PPPP PyPy Py3.11由条件由条件 可知可知 3.90,0njjjPP PyPy故故 .这说明这说明 确实是使确实是使 取极小值的广义多项式。取极小值的广义多项式。,PP PP P x注：在求最佳平方逼近函数注：在求最佳平方逼近函数 01nnnP xaa xa x时，需要确定的参数是时，需要确定的参数是 ，而，而 可以看成是可以看成是 的线性函数，但是有时往往要确定的函数和的线性函数，但是有时往往要确定的函数和参数之间不具有线性关系。参数之间不具有线性关系。01,na aa nP x01,na aa通过变量替换
32、使其线性化通过变量替换使其线性化 记记 ，则，则 式变成式变成（1）若用函数若用函数 去近似一个已给定的列去近似一个已给定的列表函数表函数 ,其中其中 是待定的两个参数。是待定的两个参数。bP tat在在 式两端取对数，得到式两端取对数，得到这是一个一次多项式，其系数这是一个一次多项式，其系数 和和 可由最小二乘法求得。可由最小二乘法求得。3.12ab、3.12lnlnlnPabt01ln,ln,lnPyaa batx3.1201yaa x0a1a（2）若用函数若用函数 btP tae3.13 去近似一个已给定的列表函数，去近似一个已给定的列表函数，其中其中 是待定的两个参数。这时，我们可在是待定的两个参数。这时，我们可在 的两端取对数：的两端取对数：ab、3.13lnlnPabt记记 ，则，则 式变成式变成01ln,ln,Pyaa ba tx3.1301yaa x这样，仍可用最小二乘法定出这样，仍可用最小二乘法定出 （从而也就定出了（从而也就定出了 ），），得到近似函数得到近似函数 01,a a,a b3.131 1、一般最小二乘逼近、一般最小二乘逼近 基本概念：基本概念：广义多项式广义多项式“权系数权系数”一般最小二乘逼近问题的提法一般最小二乘逼近问题的提法 离散型离散型连续型连续型2 2、正规方程组、正规方程组（四）、小结（四）、小结
