1、华长生制作1第三章第三章 插值法与插值法与 最小二乘法最小二乘法苏苏 丽丽自动化学院自动化学院3.7 数据拟合的最小二乘数据拟合的最小二乘法法 在科学实验中，往往要从一组实验数据在科学实验中，往往要从一组实验数据 中，寻找自变量中，寻找自变量x与因变量与因变量y之间的函数关系之间的函数关系y=f(x),但给出的观测数据本身不一定完全可靠，个别数据但给出的观测数据本身不一定完全可靠，个别数据的误差甚至可能很大，如果用插值法求函数关系近的误差甚至可能很大，如果用插值法求函数关系近似表达式，曲线通过所有节点会使曲线保留所有测似表达式，曲线通过所有节点会使曲线保留所有测量误差的影响，这是我们不希望的量
2、误差的影响，这是我们不希望的.),(iiyx实例：实例：考察某种纤维的强度与其拉伸倍数的关系考察某种纤维的强度与其拉伸倍数的关系,下表是实下表是实际测定的际测定的2424个纤维样品的强度与相应的拉伸倍数的记录个纤维样品的强度与相应的拉伸倍数的记录:iistiist3.7 数据拟合的最小二乘法数据拟合的最小二乘法12345678910123456789可见可见:纤维强度随拉伸倍数增加而增加纤维强度随拉伸倍数增加而增加,并且并且2424个点大致分个点大致分布在一条直线附近布在一条直线附近.因此可以认为强度因此可以认为强度S S 与拉伸倍数与拉伸倍数t t 的关系近似满足线性关系的关系近似满足线性关
3、系 数据拟合法是函数逼近的另一种方法数据拟合法是函数逼近的另一种方法.它与插它与插值法不同，它不要求曲线完全通过所有已知的节值法不同，它不要求曲线完全通过所有已知的节点，而是从给出的一大堆数据中找出规律，即设点，而是从给出的一大堆数据中找出规律，即设法构造一条曲线反映数据点的总的趋势，以消除法构造一条曲线反映数据点的总的趋势，以消除其局部波动。这在一定条件下比插值法更能反映其局部波动。这在一定条件下比插值法更能反映客观实际客观实际.数据有误差往往是难免的，数据拟合法数据有误差往往是难免的，数据拟合法是从总偏差最小的角度来取近似曲线是从总偏差最小的角度来取近似曲线.根据上述实例图中测试点的分布情
4、况根据上述实例图中测试点的分布情况,可以画出很多条可以画出很多条靠近这些点的直线靠近这些点的直线,其方程都可表示为：其方程都可表示为：一、最小二乘法的基本概念一、最小二乘法的基本概念battS)(1)iiistS)(2)其中其中:a,b 待定待定.要从形如要从形如(1)(1)式的所有直线中式的所有直线中,找出一条用某找出一条用某种度量标准来衡量最靠近所有数据点种度量标准来衡量最靠近所有数据点 的直线的直线.),(iist),.,1,0(mi 若若 a,b 给定给定,计算值计算值 S(ti)与测量数据与测量数据 si 之差为之差为:称之为称之为误差误差,其大小依赖于其大小依赖于 a,b 的选取的
5、选取.miiiimiiistS020222)(3)注注:(1):(1)式是一条直线，但现实生活中的函数关系并不都是线式是一条直线，但现实生活中的函数关系并不都是线性关系，因此下面将问题推广到一般情况性关系，因此下面将问题推广到一般情况.一般使用误差的加权平方和一般使用误差的加权平方和用用i 表示测量数据表示测量数据 (ti,si)的的重度重度,称为称为权系数权系数,表示在不同点表示在不同点 (ti,si)处的数据比重不同处的数据比重不同.作为衡量作为衡量 S(t)与数据点与数据点 (ti,si)(i=0,1,m)偏离大小的偏离大小的度量标准度量标准.使使 最小的最小的 S(t)最接近最接近 ,
6、以此为依据可以此为依据可确定确定(1)(1)式中的待定系数式中的待定系数 a,b.22),.,1,0(mi),(iist问问:如何衡量直线与数据点偏离程度如何衡量直线与数据点偏离程度?)(,),(),(10 xxxspann(4)()()(0*mnxaxSnjjj(5)miiiiSmiiiiyxSyxS0202*22)(min)(6)最小二乘解 定义定义:设设 为给定一组数据为给定一组数据,为各点的权系数为各点的权系数 ,要求在函数类要求在函数类)0(i),1,0(mi),(iiyxi),.,0(mi 中中,求一函数求一函数使误差的加权平方和最小使误差的加权平方和最小,即即最小平方误差njjj
7、xaxS0)()(其中：其中：为为中任意函数，称为中任意函数，称为拟合函数拟合函数.称按条件称按条件(6)(6)求函数求函数 S*(x)的方法为的方法为数据拟合的最小二乘法数据拟合的最小二乘法,简称简称最小二乘法最小二乘法.数据点数-1基底个数-1已知求条件拟合条件构造问：问：确定拟合函数确定拟合函数 S(x)后后,如何求拟合系数如何求拟合系数 ,使得使得 满足拟合条件满足拟合条件(6)(6)？),1,0(*njajnjjjxaxS0*)()(二、法方程组二、法方程组22njjjxaxS0)()(由由可知可知),(10naaamiiiiyxS02)(miinjijjiyxa020)(miinj
8、ijjiyxa020)(),1,0(njaj为拟合系数为拟合系数 的函数的函数.因此因此,可设平方误差为可设平方误差为:由多元函数取极值的必要条件由多元函数取极值的必要条件0),(10knaaaank,1,0得：得：移项整理得：移项整理得：ka0)()(200ikmiinjijjixyxa miikiimiiknjijjixyxxa000)()()(转化求最小二乘解求最小二乘解 的问题的问题)(*xS 取极小值取极小值 的问题的问题*1*0,naaa),(10naaa),1,0(nk(7)miikiinjjikmiijixyaxx000)()()(交换求和号顺序得：交换求和号顺序得：miiki
9、iikmiininikmiiiikmiiixyxxaxxaxxa00011000)()()()()()()(),1,0(nk即即显然显然(7)(7)式是一个关于式是一个关于 的的n+1+1阶线性方程组阶线性方程组.naaa,10定义向量：定义向量：),(10myyyf)(,),(),(10mrrrxxxr),1,0(nr定义内积：定义内积：(9)miikiikxyf0)(),(方程组方程组(7)(7)便可化为便可化为:),1,0(nk(10),(),(),(00knjjjknjjkjfaa(8)()(),(0ikijmiikjxx)()(0ijikmiixx),(jk),(kj这是一个系数为这
10、是一个系数为 ,常数项为常数项为 的线性方程组的线性方程组.将其表示为矩阵形式：将其表示为矩阵形式：),(kf),(jknaaa10),(),(),(10nfff),(),(),(01000n),(),(),(11101n),(),(),(10nnnn(11),(jk),(kj称为函数系称为函数系 在离散点在离散点 的的法方程组法方程组.并且其系数矩阵为对称阵并且其系数矩阵为对称阵.nxxx,.,10)(),.,(0 xxn坡度矩阵,HilbertHilbert矩阵由于由于 为函数类为函数类的基的基,因此它们必然因此它们必然线性无关线性无关,所以法方程组的系数矩阵非奇异所以法方程组的系数矩阵非
11、奇异,即即)(,),(),(10 xxxn0),det(nnji根据根据CramerCramer法则法则,法方程组有唯一解：法方程组有唯一解：*11*00,nnaaaaaa),(*1*0naaa即即的最小值的最小值.miinjijjiyxa020*)(是是),(10naaamiinjijjiyxa020)(可以证明可以证明,所对应的所对应的 是最小二乘解是最小二乘解(证明见证明见109109页页).).),.,1,0(*njajnjjjxaxS0*)()(miiiiyxS02*2)(为为均方差均方差.miiiiyxS02*22)(称称为最小二乘解为最小二乘解 的的平方误差平方误差.)(*xS)
12、,(),(),(*22ffSSfSfSfS可以证明可以证明:0),(*SfS例例1 1.求拟合下列数据的最小二乘解求拟合下列数据的最小二乘解i01234560.00.20.40.60.81.01.20.91.92.83.34.05.76.5ixiy),(),(*22fSffminkkkiifay00*2),(12)平方误差的内积表示形式平方误差的内积表示形式:故有故有解：解：1)1)在坐标平面上描点（参见教材在坐标平面上描点（参见教材P111P111）从散点图可以看出函数关系近似线性关系，所以选择从散点图可以看出函数关系近似线性关系，所以选择线性函数：线性函数：xaaxPxS101)()(其基
13、底为其基底为1)(0 xxx)(13)3)建立法方程组建立法方程组根据内积公式根据内积公式:);()(),(0ikijmiikjxxmiikiikxyf0)(),(计算下列各值：计算下列各值：.1,1,6inm取取作为拟合函数作为拟合函数,2)2)根据散点的分布情况，选择基底根据散点的分布情况，选择基底（难点）（难点）600060007)()(),(iiiiiixx66010100(,)()()4.2iiiiiixxx),(01662111100(,)()()3.64iiiiiixxx 660000(,)()25.1iiiiiifyxy661100(,)()20.18iiiiiiifyxy x
14、得法方程组：得法方程组：64.32.42.4710aa18.201.254)4)解法方程组解法方程组,求拟合函数系数求拟合函数系数843.00a57.41a因此因此,为所有的最小二乘解为所有的最小二乘解.xxP57.4843.0)(15)5)求拟合误差求拟合误差2260102),(ikkkiifay5081.0),(),(6011002iifafay求得线性函数两系数求得线性函数两系数:最小二乘拟合的一般步骤最小二乘拟合的一般步骤:描点描点(若给定拟合函数形式若给定拟合函数形式,这一步骤可以省略这一步骤可以省略););根据数据点的分布情况根据数据点的分布情况,确定拟合函数确定拟合函数,进一步确
15、进一步确定拟合函数的基底定拟合函数的基底;建立法方程组建立法方程组(涉及到一些内积运算涉及到一些内积运算););求解法方程组求解法方程组(推荐使用推荐使用GaussGauss列主元消去法列主元消去法),),得得拟合函数的系数拟合函数的系数;将这组系数代入拟合函数，即为最小二乘解将这组系数代入拟合函数，即为最小二乘解;1.1.求拟合误差求拟合误差:最小平方误差最小平方误差.例例2.2.求拟合下列数据的最小二乘解求拟合下列数据的最小二乘解解解:其中：其中：a,b,c 为待定参数为待定参数,基底为基底为:xcexbxaxScosln)(0.240.650.951.241.732.012.232.53
16、2.772.990.23-0.26-1.10-0.450.270.10-0.290.240.561.00110.80.911110.90.9ixiyi1 1）在坐标平面上描点）在坐标平面上描点2 2）根据散点的分布情况选择基底）根据散点的分布情况选择基底由数据的散点图由数据的散点图,根据经验判断根据经验判断,所求函数可用所求函数可用xexy)(xxyln)(xxycos)(的线性组合表示的线性组合表示.故拟合函数类为：故拟合函数类为：xex)(2xxln)(0 xxcos)(13 3）建立法方程组）建立法方程组根据内积公式根据内积公式：)()(),(0ikijmiikjxxmiikiikxyf
17、0)(),(计算得法方程组为：计算得法方程组为：96.934969.45407.59969.458457.41453.5407.591453.55651.6619.240891.24481.1cba4 4）用）用GaussGauss列主元消去法解法方程组列主元消去法解法方程组,得拟合函数系数得拟合函数系数:99480.0a1957.1b030752.0c,2,9nm取取xexxxS030752.0cos1957.1ln9948.0)(因此，最小二乘解为00.511.522.53-1.5-1-0.500.51xy00.511.522.53-1.5-1-0.500.51xy拟合的平方误差为：228
18、6314.0),(),(),(290102fcfbfayiii以上两个例题均属于以上两个例题均属于线性最小二乘拟合线性最小二乘拟合.非线性最小二乘问题非线性最小二乘问题miiiiyxS02*22)(当用非多项式函数当用非多项式函数(例如例如:指数函数类指数函数类 或幂或幂函数类函数类 等等)拟合给定的一组数据时拟合给定的一组数据时,拟合函数是拟合函数是关于待定参数的非线性函数关于待定参数的非线性函数.若按最小二乘准则若按最小二乘准则:axbexS)(baxxS)(用极值原理建立的法方程组将是关于待定参数的非线性方用极值原理建立的法方程组将是关于待定参数的非线性方程组程组.称这类数据拟合问题为称
19、这类数据拟合问题为非线性最小二乘拟合非线性最小二乘拟合.简单的简单的非线性最小二乘拟合问题求解方法非线性最小二乘拟合问题求解方法:转化为线性最小转化为线性最小二乘问题求解二乘问题求解.例例4 给定一组实验数据如下：给定一组实验数据如下：1.22.84.35.46.87.92.111.528.141.972.391.4ixiy求最小二乘拟合函数求最小二乘拟合函数.解：解：2）根据散点分布情况取幂函数）根据散点分布情况取幂函数baxxS)(,5m由题意知：由题意知：.1i构造平方误差函数：构造平方误差函数：52200(,)()()mbiiiiiiia bS xyaxy),(min),(,*baba
20、baRba求求 使使1）在坐标平面上描点）在坐标平面上描点(图参见教材图参见教材P118)作拟合函数作拟合函数.其中：其中：a,b为待定参数为待定参数.由极值的必要条件：由极值的必要条件：0),(0),(bbaaba50500ln)(0)(iibiibiibiibixaxyaxxyax3）转化为线性问题求解）转化为线性问题求解对对 两边取对数有：两边取对数有：baxy xbaylglglg令令其中：其中：b,c 是待定系数是待定系数xzacywlglglg，(1)bzcw(2)则有：则有：0.07920.44720.63350.7324 0.83250.89760.32221.06071.44
21、871.6222 1.85911.9609iziw4）建立法方程组：）建立法方程组：115nmi，zzz)(1)(10，500050006)()(),(iiiiiizz501050106224.3)()(),(iiiiiiizzz),(015021150116427.2)()(),(iiiiiiizzz基底：基底：由由 可得相应可得相应 的数据表的数据表:),(iiyx),(iiwz5015019135.5)(),(iiiiiiiizwzwf故法方程组为：故法方程组为：6427.26224.36224.36bc9135.52738.8解上述方程组得：解上述方程组得：0150.20.1624bc
22、，再由再由(1)(1)式可得：式可得：4534.110 ca最小二乘拟合函数为：最小二乘拟合函数为：0150.24534.1)(xaxxSb5005002738.8)(),(iiiiiiiwzwf内容总结 数据拟合法是函数逼近的另一种方法数据拟合法是函数逼近的另一种方法.它与插值法不同，它与插值法不同，它不要求曲线完全通过所有已知的节点，而是从给出的一它不要求曲线完全通过所有已知的节点，而是从给出的一大堆数据中找出规律，设法构造一条曲线反映数据点的总大堆数据中找出规律，设法构造一条曲线反映数据点的总的趋势，从总偏差最小的角度来取近似曲线的趋势，从总偏差最小的角度来取近似曲线.最小二乘法：最小二乘法：miiiiSmiiiiyxSyxS0202*22)(min)(求函数求函数 S*(x)的方法为的方法为数据拟合的最小二乘法数据拟合的最小二乘法,简称简称最小二最小二乘法乘法.称按条件称按条件法方程组法：法方程组法：1.描点；描点；2.选择基底，构造拟合函数；选择基底，构造拟合函数；3.建立法方程组；建立法方程组；4.解法方程组，求出最小二乘解解法方程组，求出最小二乘解.
