1、数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日1第第3 3章章 函数逼近与快速傅里叶变换函数逼近与快速傅里叶变换3.4 3.4 曲线拟合的最小二乘法曲线拟合的最小二乘法曲线拟合曲线拟合：科学实验中，通过一组实验数据，寻找数据变化规律，科学实验中，通过一组实验数据，寻找数据变化规律，确定函数的近似表达式，求取一条近似曲线。确定函数的近似表达式，求取一条近似曲线。需要注意：数据较多，存在误差，拟合曲线只能反映总趋势。需要注意：数据较多，存在误差，拟合曲线只能反映总趋势。3.4.1 3.4.1 最小二乘法及其计算最小二乘法及其计算与插值法不同：与插值法不同：曲线不是严格地通过每个数
2、据点，无需高次多项式插值；曲线不是严格地通过每个数据点，无需高次多项式插值；曲线反映总的变化规律，去掉了数据所含的测量误差。曲线反映总的变化规律，去掉了数据所含的测量误差。数值分析数值分析 黄龙主讲黄龙主讲 在某特定函数类在某特定函数类 中，寻找一个函数中，寻找一个函数 作为作为 的近的近似，似，2022年年12月月24日日2数学描述：对某一未知函数数学描述：对某一未知函数 ,有一组实验数据有一组实验数据 xfy iixf,x，x m,i10 ix按某种度量标准为最小，这就是按某种度量标准为最小，这就是曲线拟合曲线拟合问题（问题（函数逼近函数逼近）。）。iiixfx 涉及两方面的内容：涉及两方
3、面的内容：误差或残差的度量标准误差或残差的度量标准范数；范数；x 并使两者在并使两者在 上的误差或残差上的误差或残差 xfy ，m,i10 函数类的选择函数类的选择函数空间。函数空间。数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日31.1.定义范数定义范数残差残差 构成残差向量构成残差向量 ，有三种范数，有三种范数i m,10 miiimiixfx001 ，称为，称为 范数范数；1 iiiiixfx maxmax，称为，称为 范数范数；210221022 miiimiixfx ，称为，称为 范数。范数。2其中，误差平方和最小的拟合，称为曲线拟合的其中，误差平方和最小的拟合，称
4、为曲线拟合的最小二乘法最小二乘法：200222 miiimiixfx 数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日42.2.函数空间函数空间具有确定关系的函数集合，称为具有确定关系的函数集合，称为函数空间函数空间。假设假设 ，是一组线性无关的给定函数，是一组线性无关的给定函数，xi n,i10 表示由表示由 组成的组成的函数空间函数空间，x n,10 x 表示为表示为 xaxaxaxnn 1100则则 称为空间称为空间 的一组的一组基基，记为，记为n,10 n,10Span 例如次数不超过例如次数不超过 次的多项式集合次的多项式集合 ，表示为表示为nnH nHxp nnxa
5、xaaxp 10数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日5数学模型：对于给定的数据数学模型：对于给定的数据 ，iixf,xm,i10 要在给定的函数空间要在给定的函数空间 中寻找一个函数中寻找一个函数 n,10Span nii*in*n*xaxaxaxax01100 使使 满足满足 x*miiixmiii*xfxxfx020222min 这种求拟合函数这种求拟合函数 的方法，称为曲线拟合的的方法，称为曲线拟合的最小二乘法最小二乘法。x*当确定出拟合参数当确定出拟合参数 ，就可得到拟合函数，就可得到拟合函数 。*n*a,a,a10 x*数值分析数值分析 黄龙主讲黄龙主讲
6、2022年年12月月24日日6设多元函数设多元函数 miiinniinxfxaxaxaa,a,aJ02110010 要使要使 达到最小，由多元函数取极值的必要条件达到最小，由多元函数取极值的必要条件J0 kaJ，n,k10 可得方程组可得方程组 0211000 iinniimiikkxfxaxaxaxaJ 011000 iinniimiikxfxaxaxax n,k10 3.3.最小二乘法最小二乘法数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日7引入引入 内积：内积：miijikjkxx,0 miiikkxfxf,0 方程组为：方程组为：f,a,a,aknknkk 1100n
7、,k10 方程组称为方程组称为正则（或正规）方程组正则（或正规）方程组或或法方程组法方程组，矩阵形式为：，矩阵形式为：f,f,f,aaa,nnnnnnnn 1010101110101000数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日8注意：法方程组为线性方程组，其系数矩阵为对称矩阵。注意：法方程组为线性方程组，其系数矩阵为对称矩阵。当当 线性无关时，有唯一解线性无关时，有唯一解 x,x,xn 10*iiaa ，n,i10 相应的拟合函数为相应的拟合函数为 nii*in*n*xaxaxaxax01100 这就是满足残差平方和为最小的最小二乘解。这就是满足残差平方和为最小的最小
8、二乘解。数值分析数值分析 黄龙主讲黄龙主讲 4.4.加权最小二乘法加权最小二乘法2022年年12月月24日日9实际问题中的实验数据并不是等精度、等重要性的。实际问题中的实验数据并不是等精度、等重要性的。为了衡量数据的精度和重要性，需对数据加权处理。为了衡量数据的精度和重要性，需对数据加权处理。设设 为反映数据为反映数据 比重的权值，比重的权值，i iixf,x（，可表示数据观测的次数），可表示数据观测的次数）0 i 要求在函数空间要求在函数空间 中寻找一个函数中寻找一个函数 ，使，使 x x miiiimiiixfx0202 为最小，这就是为最小，这就是加权最小二乘法加权最小二乘法。数值分析数
9、值分析 黄龙主讲黄龙主讲 2022年年12月月24日日10若记若记 miijikijkxx,0 miiikikxfxf,0 同样，可得法方程同样，可得法方程 f,a,a,aknknkk 1100 f,f,f,aaa,nnnnnnnn 1010101110101000n,k10 数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日11总结：总结：对于给定数据对于给定数据 ，在函数空间存在唯一函数在函数空间存在唯一函数 iiy,xm,i10 nii*in*n*xaxaxaxax01100 使得残差平方和为最小。使得残差平方和为最小。最小二乘解的系数最小二乘解的系数 可通过解法方程组求得
10、。可通过解法方程组求得。*n*a,a,a10 iiy,x 用最小二乘解来拟合数据用最小二乘解来拟合数据 ，平方误差为平方误差为 m,i10 *22 ,y,yy,y*数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日125.5.直线拟合的实例直线拟合的实例设已知数据点设已知数据点 ，分布大致为一条直线，分布大致为一条直线，iiy,xm,i10 利用最小二乘原理，作拟合直线利用最小二乘原理，作拟合直线 ，bxay 该直线不是通过所有数据点该直线不是通过所有数据点 ，而是使残差平方和为最小：，而是使残差平方和为最小：iiy,x miiibxay02确定直线参数确定直线参数 、，取，取
11、、，法方程组为，法方程组为a10 bx 1 miiimiimiimiimiimiyxybaxxx00020001数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日13P P0000例例1 1 已知实验数据已知实验数据 用最小二乘法求拟合曲线用最小二乘法求拟合曲线 。24338291908060402000.y.xiibxay 解解：这里：这里 ，4 m1 n10 x 1 514002000 imiix,2400100110 iimiiixxx,2140202111.xx,iimii 数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日14 84640011.yxxfx
12、f,iiimiii 法方程组为法方程组为 84611321225.ba.解得解得 ，021.a 4 b 11340000.yxfxf,iimiii 拟合直线为拟合直线为x.y4021 数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日15P P7575例例9 9 已知一组实验数据如表已知一组实验数据如表3-13-1，求它的拟合曲线。，求它的拟合曲线。11312588654454321iii.fx 解解：将所给数据在坐标纸上标出，可看到各点在一条直线附近，：将所给数据在坐标纸上标出，可看到各点在一条直线附近，4 m1 n10 x 1 故可选择线性函数作拟合曲线，令故可选择线性函数作
13、拟合曲线，令 xaaxS101 这里这里 ，84000 ii,22400110 iiix,数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日16 7440211 iiix,5145401.fxf,iiii 法方程组为法方程组为 514547742222810.aa解得解得 ，564820.a 203711.a 47400 iiiyf,拟合直线为拟合直线为 x.xS*20371564821 数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日17P P7575例例1 10 设数据设数据 由表由表3-23-2给出，表中第给出，表中第4 4行为行为 ，可以看出数学模型为可以
14、看出数学模型为 ，用最小二乘法确定，用最小二乘法确定 及及 。1352008287617561629146845753679510500275150125100143210.y.y.xiiii 43210,iy,xii iiyy lnbxaey ab解解：将拟合曲线：将拟合曲线 两边取对数得两边取对数得bxaey bxay lnln若令若令 ，得线性方程，得线性方程yyln aAln bxAy 为确定为确定 、，将，将 转化为转化为 ，数据表如图，数据表如图Ab iiy,x iiy,x根据最小二乘法，取根据最小二乘法，取 ，10 x xx 1 1 x 数值分析数值分析 黄龙主讲黄龙主讲 2022年年12月月24日日18 8751140211.x,iii 42214401.yxy,iiii 法方程组为法方程组为 4221440498751157575.bA.解得解得 ，有，有 1221.A 5050.b 4049400.yy,iii 拟合曲线为拟合曲线为x.e.y50500713 54000 ii,57400110.x,iii ，0713.eaA
