1、2022-6-6第三章 参数估计理论与应用第三章第三章 参数估计理论与应用参数估计理论与应用3.1 参数估计的评价准则3.2 基于统计分布的参数估计方法3.3 基于模型的参数最小二乘估计 本章小结2022-6-6第三章 参数估计理论与应用 在许多情况下，观测数据所服从的在许多情况下，观测数据所服从的概率模型已知概率模型已知的，而的，而模型的未知部分是以模型的未知部分是以未知参数形式出现未知参数形式出现的。的。 参数估计的基础是参数估计的基础是优化理论优化理论，即，即被估计的参数被估计的参数应该应该在某在某种准则下种准则下是是最优最优的，以及任何获得最优的估计。的，以及任何获得最优的估计。 非参
2、数估计方法不假定观测数据服从某种特定的概率模非参数估计方法不假定观测数据服从某种特定的概率模型。例如，型。例如，频域上频域上的的谱估计谱估计与与谱线拟合谱线拟合就是典型的就是典型的非参数估非参数估计方法计方法。观测到的状态观测到的状态状态状态控制控制x( (t) )y( (t) )u( (t) )v( (t) )w( (t) )观量噪声观量噪声设备噪声设备噪声设备（模型结构已设备（模型结构已知、参数未知）知、参数未知）测量装置测量装置图图3-13-1 系统辨识中的参数估计问题系统辨识中的参数估计问题2022-6-6第三章 参数估计理论与应用3.1 3.1 参数估计的评价准则参数估计的评价准则
3、参数估计参数估计是通过是通过样本样本去去估计总体估计总体的某些的某些数字特征数字特征或或统计量统计量。任何一任何一个统计量都可作为参数的估计量，但其效果的优劣有所差别。个统计量都可作为参数的估计量，但其效果的优劣有所差别。3.1.1 3.1.1 无偏性、有效性与相容性无偏性、有效性与相容性 （1 1）无偏性）无偏性 设样本的总体分布密度函数为设样本的总体分布密度函数为 p(x;), 是未知参数。从总体中抽取容量为是未知参数。从总体中抽取容量为 N 的样本的样本 x=x1, , xN , 用样本的估计量用样本的估计量 来估计来估计，如果希望，如果希望多次估计中，平均多次估计中，平均的估计值没有偏
4、差的估计值没有偏差，即，即则称则称 是是的的无偏估计量无偏估计量。xxxd);()(Ep2022-6-6第三章 参数估计理论与应用 例例3-13-1 样本均值是总体数学期望的无偏估计。样本均值是总体数学期望的无偏估计。 设设x1, , xN 是随机过程是随机过程 xk 的的N个独立观测样本，如果个独立观测样本，如果参数参数是总体的数学期望是总体的数学期望Ex，即用样本的均值，即用样本的均值作为作为的估计量，对该估计量取期望值，有的估计量，对该估计量取期望值，有 一个无偏估计量在多次估计中将不会产生一个无偏估计量在多次估计中将不会产生系统偏差系统偏差，但，但并不意味着有偏估计就不好。如果一个有偏
5、估计是渐进无偏并不意味着有偏估计就不好。如果一个有偏估计是渐进无偏的，即的，即xxNNkk11EE11EE11xxNxNNkNkkkElimNN2022-6-6第三章 参数估计理论与应用那么它仍然有可能是一个好的估计。那么它仍然有可能是一个好的估计。 考虑实随机过程考虑实随机过程xk的相关函数的两种估计量：的相关函数的两种估计量： 假定数据假定数据xk是独立观测的，容易验证是独立观测的，容易验证 式中，式中，Rx()=E xk+ xk 是随机数据是随机数据xk的相关函数。的相关函数。 以上二式表明，估计量以上二式表明，估计量 1() 是无偏的，而是无偏的，而 2()则是则是有偏的。但是，有偏的
6、。但是， 2()是渐进无偏的是渐进无偏的，即，即RRRNkkkNkkkxxNRxxNR12111)(,1)()()1 (E11E)(E)(E11E)(E112111xNkkkNkkkxNkkkNkkkRNxxNxxNRRxxNxxNR2022-6-6第三章 参数估计理论与应用渐进无偏估计量渐进无偏估计量 2()是是半正定半正定的，而无偏估计量的，而无偏估计量 1()却却不一定是半正定的，故不一定是半正定的，故 2()的使用场合较多。的使用场合较多。 （2 2）有效性）有效性 如果如果 1 和和 2 是两个根据是两个根据N个独立观测样个独立观测样本得到的无偏估计量，无疑地，对本得到的无偏估计量，
7、无疑地，对 的的平均偏差较小平均偏差较小是选择是选择的标准之一。例如，如果的标准之一。例如，如果则则 1的值比的值比 2 的值更的值更密集地聚集在密集地聚集在真值真值的的附近附近。通常。通常将方将方差（或协方差阵）在所有的无偏估计量中达到最小的差（或协方差阵）在所有的无偏估计量中达到最小的 称为称为有效估计量有效估计量。 例例3-23-2 设设x1,xN 是是N个独立观测样本，若被估计参数个独立观测样本，若被估计参数RRR)()(Elim2xNRR)()(22122022-6-6第三章 参数估计理论与应用=Ex，则对任何满足，则对任何满足都是都是的无偏估计量。利用不等式的无偏估计量。利用不等式
8、 可得可得在估计总体的数学期望时，简单的在估计总体的数学期望时，简单的算术平均算术平均比比加权平均加权平均好。好。 （3 3）一致性）一致性 估计量的精度是与样本的容量估计量的精度是与样本的容量 N 有关系有关系的。一般说来，总是认为的。一般说来，总是认为N 越大估计的效果应该越好。如果越大估计的效果应该越好。如果记依赖样本容量记依赖样本容量 N 的估计为的估计为 N ，当满足，当满足)1(11NiiNiiicxc，NiiNiicNc1221)() ()()()()()(212221222NiiNiicxcNxNxx2022-6-6第三章 参数估计理论与应用则称则称 N 是是的的一致性估计量一
9、致性估计量，或，或相容估计相容估计。 例例3-33-3 设总体设总体 x 具有均匀分布，分布密度为具有均匀分布，分布密度为其中，其中，1 和和2 是未知参数。是未知参数。 总体样本总体样本的的均值均值和和二阶矩二阶矩分别为（严格按定义计算）分别为（严格按定义计算）解得解得0, 0|limNNP其它,0,/ 1)(2112xxp22221212213E,2Exmx32)(32,22/ 122221mm2022-6-6第三章 参数估计理论与应用 按矩的估计方法，用按矩的估计方法，用独立样本独立样本的的均值均值和独立样本的和独立样本的二阶二阶矩矩，分别作为，分别作为总体总体均值均值和和二阶矩二阶矩的
10、的估计量估计量，就有，就有 下面说明下面说明 1 和和 2 分别是分别是1 和和2 的的相容估计相容估计。 设设 y1,yN 是具有同分布的独立观测样本，根据大数定是具有同分布的独立观测样本，根据大数定律，有律，有令令y=x2, 就有就有NNNiixxxxN32132)1(32212/121220, 0| 1|lim1NiiNyEyNP0, 0|lim|)E(E1|lim2212222NNNiiNPxxxxNP2022-6-6第三章 参数估计理论与应用于是于是3.1.2 Fisher3.1.2 Fisher信息和信息和Cramer-RaoCramer-Rao不等式不等式 通常希望获得有效的参数
11、估计量。但是，由于不存在导通常希望获得有效的参数估计量。但是，由于不存在导致最小方差无偏估计量的最佳算法，所以通常采用参数无偏致最小方差无偏估计量的最佳算法，所以通常采用参数无偏估计的估计的Cramer-Rao下限下限(或或CR下界下界), 作为评价参数估计性能作为评价参数估计性能的测度。为了简洁叙述这一的评价测度，先定义一个重要的的测度。为了简洁叙述这一的评价测度，先定义一个重要的概念。概念。 Fisher 信息信息 Fisher 信息用信息用J（）表示，定义为）表示，定义为（3.1.13.1.1）0, 0|lim32|lim0|lim3|lim2211NNNNNNPPPP)|(lnE|(l
12、nE)(222xpxpJ2022-6-6第三章 参数估计理论与应用 当考虑当考虑 N 个观测样本个观测样本 X= x1,xN , 此时，联合条件分此时，联合条件分布密度函数可表示为布密度函数可表示为 将式（将式（3.1.13.1.1）中的）中的p(x|)改为改为p(X|)就可给出就可给出N个样本个样本变量变量X的的Fisher信息的表达式。信息的表达式。 定理（定理（Cramer-RaoCramer-Rao不等式）不等式） 设观测样本设观测样本X= x1,xN , 若参数估计若参数估计 是真实参数是真实参数 的的无偏估计无偏估计，并且条件分布密度，并且条件分布密度函数的函数的p(X|) 对参数
13、对参数 的一、二阶偏导数存在，则有的一、二阶偏导数存在，则有（3.1.23.1.2） 参数参数 的方差所能达到的下限（称为的方差所能达到的下限（称为CR下限），即上下限），即上式式等号成立等号成立的充要条件是的充要条件是)|,()|(1Nxxppx/ )|(XlnE1)(1)E()var(222pJ2022-6-6第三章 参数估计理论与应用其中其中, 函数函数K()0，并与样本向量并与样本向量 X 无关无关。 当当 为有偏估计量时，为有偏估计量时，Cramer-Rao 不等式为不等式为 （3.1.33.1.3） 式中式中()为估计偏差，即为估计偏差，即()=E -，并假定，并假定b()是可是可
14、微分的。微分的。 对于多个参数的情况，记对于多个参数的情况，记=1，p，则用矩，则用矩阵阵J() 表示表示Fisher信息，其元素信息，其元素Jij() 定义为定义为（3.1.43.1.4）)()|(ln Kp x/)|(lnE)d/)(d1 ()var(222xp)|(lnE)(2XpJjiij2022-6-6第三章 参数估计理论与应用且且Cramer-Rao不等式变为矩阵不等式：不等式变为矩阵不等式：（3.1.53.1.5） 上式表示上式表示无偏估计量无偏估计量的的协方差矩阵协方差矩阵cov( )与逆与逆Fisher信息阵信息阵之差之差是一是一半正定矩阵半正定矩阵。 Fisher信息信息是
15、描述从观测数据中得到的是描述从观测数据中得到的 的的 “信息信息” 测测度，它度，它给出利用观测数据估计参数给出利用观测数据估计参数的方差下界的方差下界。但是，。但是，满满足这一下界的估计量有的时候可能不存在足这一下界的估计量有的时候可能不存在。3.2 3.2 基于统计分布的参数估计方法基于统计分布的参数估计方法 参数估计量的优劣取决于所采用的评价准则（或代价函参数估计量的优劣取决于所采用的评价准则（或代价函数）和估计算法。现在介绍已知总体统计分布的两种最有效数）和估计算法。现在介绍已知总体统计分布的两种最有效的参数估计方法：的参数估计方法：Bayes 估计估计和和最大似然估计最大似然估计。)
16、()E()cov(12JT2022-6-6第三章 参数估计理论与应用3.2.1 Bayes3.2.1 Bayes 估计估计 在参数估计中，估计误差在参数估计中，估计误差 - 通常不为零。因此，除了通常不为零。因此，除了采用前面介绍的采用前面介绍的无偏无偏、有效有效和和相容估计相容估计作为评价准则外，还作为评价准则外，还可以利用可以利用估计误差估计误差的变化范围的变化范围作为参数估计作为参数估计的的测度测度，这种测，这种测度叫做度叫做代价函数代价函数，用符号，用符号C( ( ,) )表示。常用的代价函数有表示。常用的代价函数有绝对型绝对型、二次型二次型和和均匀型均匀型三种。三种。),(C),(C
17、),(COOO/2/2绝对型绝对型二次型二次型均匀型均匀型2022-6-6第三章 参数估计理论与应用 本节仅介绍最常用的本节仅介绍最常用的二次型二次型代价函数，即代价函数，即 当总体的分布密度函数当总体的分布密度函数p(X|)已知时，利用已知时，利用X= x1,xN 进行参数估计，通常是采用进行参数估计，通常是采用代价函数代价函数的的期望值期望值作为评价参数估计量效果的测度，并称之为作为评价参数估计量效果的测度，并称之为风险函数风险函数。使风使风险函数最小的参数估计叫做险函数最小的参数估计叫做 Bayes 估计估计；基于二次型风险函基于二次型风险函数最小的估计称为最小均方误差（数最小的估计称为
18、最小均方误差（minimum mean square error, MMSE）估计）估计。二次型风险函数定义为。二次型风险函数定义为（3.2.13.2.1） 根据条件概率公式，有根据条件概率公式，有22|),(|),(|MMSEMMSECC或),(E),(RCddd);()()E(122MMSENxxpRx2022-6-6第三章 参数估计理论与应用其中，其中，p( | x1,xN )是给定是给定N个观测样本个观测样本X= x1,xN 条件条件下下 的后验分布密度函数。于是，式（的后验分布密度函数。于是，式（3.2.13.2.1）可以写成）可以写成（3.2.23.2.2） 为使为使风险函数风险函
19、数RM M S E 最小最小，对上式取，对上式取 的偏导，并令其的偏导，并令其结果为零，便得到结果为零，便得到由于由于p(x1,xN ) 是非负的，因此，是非负的，因此，RM M S E / =0, 等价于等价于上式中上式中=0。故有。故有)()|,()()|();(1pxxppppNXXXXXXd)()|()(2MMSEpdpR0d)(d)|(2d)|(2d)()|()(2XXXXXXXMMSEppppdpR2022-6-6第三章 参数估计理论与应用（3.2.33.2.3） 注意，在式（注意，在式（3.2.33.2.3）中，利用了以下事实：）中，利用了以下事实： 由此可得出重要的结论：未知参
20、数由此可得出重要的结论：未知参数 的的MMSE估计是给估计是给定样本定样本X条件下条件下的条件均值。的条件均值。 例例3-43-4 某一随机参量某一随机参量x 服从高斯服从高斯N(mx,Cx)分布，用仪器分布，用仪器可测量其线性组合可测量其线性组合y ，即，即（1 1）式中，式中，yN 维，维，kNM 维，维，x M维，维，e N 维。维。,|Ed)|(1MMSENxxpX1d)|(Xpexky2022-6-6第三章 参数估计理论与应用其中，测量误差其中，测量误差 e 服从高斯服从高斯N(0,Ce)分布；分布；k 为给定的常数为给定的常数阵。假设阵。假设 () e 与与 x 独立；独立； ()
21、 e 与与 x 相关，互协方差函数为相关，互协方差函数为Cxe 。 试分别求出两种情况下的试分别求出两种情况下的MMSE估计估计x(y)和和估计误差估计误差x (y)的的协方差协方差R x(y)。 解解 如果如果将将 x 看作未知参数看作未知参数，那么，根据上面讨论，那么，根据上面讨论, x 的的MMSE估计估计是是给定观测样本给定观测样本y1,yN 时时 x 的的条件均值条件均值。因。因此，可利用公式（此，可利用公式（1.4.16）和（）和（1.4.17）pp.29 （2 2）（3 3）来求解。来求解。)(1|yyxyxyxmymmCCyxyxyxyxCCCCC1|2022-6-6第三章 参
22、数估计理论与应用 对式（对式（1）两边取均值，得到）两边取均值，得到 （4 4） 将式（将式（1）和（）和（3）代入有关定义式，得）代入有关定义式，得（5 5）（6 6）（7 7）T1,Mxx xxxmmkm，exxxxyxxykemxkmxymxCCmCTTT)()E()(E(xexxyyxk CCCCTTTexexexxxyyykkkkemxkemxkmymyE)()()(E)(TTTCCCCC2022-6-6第三章 参数估计理论与应用（i）当）当 e与与 x 互相独立，互相独立，Cxe=0。将式（。将式（4）（7）代入）代入式（式（2）和（）和（3），得到），得到x(y)的估计及协方差的
23、估计及协方差R x(y)（ii）当）当 e 与与 x 相关，只需注意相关，只需注意Cxe 0即可。即可。 这个问题留给读者解决。请构造一组数据，在这个问题留给读者解决。请构造一组数据，在Matlab 平平台上仿真这两种的估计结果。台上仿真这两种的估计结果。3.2.2 3.2.2 最大似然估计最大似然估计 最大似然估计（最大似然估计（maximum likelihood estimate, ML估估计）的基本思路是：计）的基本思路是：在给定参数在给定参数条件下，条件下，将观测样本将观测样本 x x)( )()(1TTyxmkykkkmmxexxxy | xCCC(y)xxexxxy | xkkk
24、k1TT)(RCCCCCCK2022-6-6第三章 参数估计理论与应用联合条件概率密度函数联合条件概率密度函数p(x|)视为视为真实参数真实参数 的函数的函数，即，即似似然函数然函数L(x，) （包含未知参数（包含未知参数的可能性函数），然后利的可能性函数），然后利用容量为用容量为 N 的观测样本的观测样本x= x1,xN ，求出，求出使使L(x，)达到达到最大化最大化的的参数参数 作为作为=1，p的的估计值估计值。在数学。在数学上，通常将未知参数上，通常将未知参数 的最大似然估计量记为的最大似然估计量记为式中式中是参数是参数 的值域。故的值域。故ML估计量估计量 ML就是就是p(x|)的全的
25、全局极大点。局极大点。 由于对数函数是严格单调的，故由于对数函数是严格单调的，故 L(x，) 的极大点与的极大点与ln L(x，)的极大点是一致的。通常，将的极大点是一致的。通常，将ln L(x，)称为称为对对数似然函数数似然函数。于是，。于是，ML估计量估计量 ML可由可由（3.2.43.2.4）)|(maxargMLxppiLi, 2, 1, 0,(ln)x2022-6-6第三章 参数估计理论与应用确定。如果确定。如果 x1,xN 是是N个独立的观测样本，则对数似然函个独立的观测样本，则对数似然函数可写作数可写作（3.2.53.2.5） ML估计量估计量 ML只要能够求出来，总是比较好的估
26、计只要能够求出来，总是比较好的估计，它，它具有以下性质：最大似然估计是有效和一致估计；对于大的具有以下性质：最大似然估计是有效和一致估计；对于大的N，ML估计量估计量 ML服从高斯分布，并且是无偏的，方差可达服从高斯分布，并且是无偏的，方差可达CR下界。下界。 例例3-53-5 设样本设样本x= x1,xN 服从高斯分布服从高斯分布N（m，），），则其对数似然函数为则其对数似然函数为)|(ln)|(ln),(ln11xNiiNiixpxpL21222121)(21)ln(2)2ln(2)(21exp21ln),|(ln),(lnNNiiiiNiimxNNmxmxpxL2022-6-6第三章 参
27、数估计理论与应用分别求分别求 lnL 关于关于 m 和和2 的偏导，并令它们等于零，得到的偏导，并令它们等于零，得到解得解得显然有显然有 可见，均值的可见，均值的ML估计估计 ML 是无偏的，而方差的是无偏的，而方差的ML估计估计 ML是有偏的。但若将是有偏的。但若将 ML N / (N-1)作为新的估计量，则该作为新的估计量，则该估计是无偏的。估计是无偏的。0)(212ln, 0)(1ln1242212NiiNiimxNLmxmL22121)(1,1NNiiMLNiiMLsxxNxxNm212211)()E(1EE1ENNmxmxNsmxNxNiiNNiim 222022-6-6第三章 参数
28、估计理论与应用 计算计算L(x，)的相对于的相对于m 的二阶偏导数，有的二阶偏导数，有 由式（由式（3.1.13.1.1）得）得Fisher 信息：信息：Cramer-Rao不等式为不等式为等号成立的充要条件是等号成立的充要条件是事实上，我们有事实上，我们有21222)1(1lnNmLNi2222),|(lnE)(NmpmmJx22MLML)(1)E()var(NmJmmm)(),|(lnML2mmmKmpmx2022-6-6第三章 参数估计理论与应用因此，只要取因此，只要取K(m)=N/2，ML估计估计 ML就可达就可达CR下界下界2/N。这表明。这表明ML估计估计 ML是一有效估计量。是一
29、有效估计量。 例例3-63-6 （二元阵最大似然测向系统（二元阵最大似然测向系统 ） 设二元阵布置在设二元阵布置在 x轴上，两个基元坐标分别为轴上，两个基元坐标分别为x1 和和x2 ，如图，如图3-2所示。如果取所示。如果取x1=0，则，则 x2=d，d为两传感器的位置间隔。假设信号为平面为两传感器的位置间隔。假设信号为平面波，入射角为波，入射角为，则传感器，则传感器1相对于传感器相对于传感器2的信号时延的信号时延为为 （3.2.63.2.6）式式中，中，c 为声速。我们的问题是为声速。我们的问题是如何利用二元阵中两个输入过程如何利用二元阵中两个输入过程的时差的时差来测定目标的方位角来测定目标
30、的方位角。)()(1),|(ln2122mmNNmxmpmMLNiixxx2=dx1=0图图3-23-2 二元阵测向系统的几何关系二元阵测向系统的几何关系cd/cos)(m m 2022-6-6第三章 参数估计理论与应用 解解 设两传感器的零均值接收过程可分别表示为设两传感器的零均值接收过程可分别表示为其中，其中，si 为单频平面波信号，为单频平面波信号，wi (i=1，2)为零均值高斯噪为零均值高斯噪声，二者互相独立。声，二者互相独立。 如果采用图如果采用图3-3所示的时延补偿方法，则单频平面波信号所示的时延补偿方法，则单频平面波信号的归一化声程补偿（或指向）向量的归一化声程补偿（或指向）向
31、量 v 在所考虑的二元阵中可在所考虑的二元阵中可表示为表示为 下面，我们来推导信号的下面，我们来推导信号的协方差矩阵和噪声的协方差矩协方差矩阵和噪声的协方差矩阵，以便于求出阵，以便于求出观测样本的似观测样本的似)()()()()()(2211twtstxtwtstx),()exp(j1nnvvv*图图3-3 3-3 声程补偿系统声程补偿系统x2x11exp(-(-jn) )2022-6-6第三章 参数估计理论与应用函数。记输入信号和输入噪声的傅立叶系数为函数。记输入信号和输入噪声的傅立叶系数为设信号和噪声的功率谱分别为设信号和噪声的功率谱分别为S (n) 和和N (n) ,那么，由公那么，由公
32、式（式（1.4.6） pp.26, n= 2n / T） 信号和噪声的协方差矩阵可分别表示为信号和噪声的协方差矩阵可分别表示为（3.2.73.2.7）)()()()()(),()(e)()()()()()(2121F21jF21nXnXnXtwtwnvnXnXnXnXnXtstswwwsssssn| )(E|)(2nXTSnx)(I)()()(E),(),(),()(),()()(E),(),(HHHHnCTNnXnXnCnvnvTSnvnXnXnvnCwnwwwnsss2022-6-6第三章 参数估计理论与应用于是，观测样本的似然函数可表示为于是，观测样本的似然函数可表示为（3.2.83.2
33、.8）式中，式中，X (1)= X1 (1)，X2(1)T ， ，X (TW) = X1 (TW)，X2(TW) T 是传感器的接收过程是传感器的接收过程x=x1，x2T的傅立叶系数的傅立叶系数阵；阵； T 是过程的持续时间（采样数据的长度），是过程的持续时间（采样数据的长度），W 是接收过是接收过程的带宽。程的带宽。 容易验证，行列式容易验证，行列式| Cw + Cs | 与时延与时延无关。于是，无关。于是，ML估计就是选择估计就是选择，使，使ln p(X |)最大最大,也即使式（也即使式（3.2.83.2.8）的指）的指数函数数函数（3.2.93.2.9）)(),()( )(exp| ),
34、()(|1)|(1112nnnnnnpswTWnTWnswXCCXCCXHWTnswnnnn11H)(),()()(XCCX2022-6-6第三章 参数估计理论与应用最大。下面，我们从式（最大。下面，我们从式（3.2.93.2.9）出发，推导时延参数）出发，推导时延参数 的的最大似然估计的等效形式。为此，首先引进下列求逆公式最大似然估计的等效形式。为此，首先引进下列求逆公式（3.2.103.2.10）式中，式中，A为为nn非奇异矩阵；非奇异矩阵；g为为n1列向量。证明留给请列向量。证明留给请读者课外练习【利用恒等式读者课外练习【利用恒等式 g(1+gHA-1g)=(A+ gHg)A-1g）】。
35、）】。 利用求逆公式，可知利用求逆公式，可知 gAgAggAAggA1H1H111H1)(),(),()()(2)()()()()()(/ )(21),(),()(),(),()()()(),()(H2H1H1nnSNNTSNTNSNSnnNTnnNSTNnnnnnnnnnnnnnnnswvvvvvvCCIII2022-6-6第三章 参数估计理论与应用将上式代入式（将上式代入式（3.2.9），略去与），略去与无关的量无关的量T/N (n)。因。因此，选择此，选择使式（使式（3.2.9）最大，等价于使下式）最大，等价于使下式（3.2.113.2.11） 最大。现引入记号最大。现引入记号在此将在此
36、将 X(n，) 视为某时间函数视为某时间函数 x(t, )在时间（在时间（t-T，t）内内的傅立叶系数。将上述替换量代入式（的傅立叶系数。将上述替换量代入式（3.2.11）后，再应）后，再应用用周期函数的周期函数的 Parseval 公式，就有公式，就有WTnnnnnnnnnSNNST1HH2)(),(),()()()(2)()(XvvX)(),()(),(,)()(2)()()(H0220nnHXSNNSHnnnnnnnXv),(d),(21| ),(| )(),()(|22121H00 xzttxXTnnHTTTtHTWnnTWnnXv2022-6-6第三章 参数估计理论与应用略去无关紧要
37、的常数项略去无关紧要的常数项1/2，计算，计算 z(x, ) 的结构如图的结构如图3-4所所示。调节时延示。调节时延，使输出，使输出 z(x, )达到最大，相应的时延就达到最大，相应的时延就是是真实时延的真实时延的ML估计估计 ML。 根据根据ML估计的传递性，由估计的传递性，由式（式（3.2.6）可得真实方位的）可得真实方位的ML估计估计 （3.2.123.2.12） )(cosML1MLdcxH0( (t) )z( (x,) )x1( (t) )x2( (t) )H0()()2图图3-43-4 二元阵最大似然测向系统二元阵最大似然测向系统exp(-j)tTttd)(2022-6-6第三章
38、参数估计理论与应用 二元阵二元阵最大似然测向系统最大似然测向系统与二元阵与二元阵似然比检测系统似然比检测系统具有具有完全相同的结构完全相同的结构。这是因为：在。这是因为：在 H1 情况下，情况下， p(X | ) 等价等价于于 p(X | H1)，后者，后者也可看作是时延参数也可看作是时延参数的函数的函数；而在；而在 H0 情况下，情况下，p(X | H0) 与与无关。因此，选取无关。因此，选取 使似然函数最使似然函数最大，也就是使似然比大，也就是使似然比p(X | H1)/ p(X | H0)最大。由此可见，检测问题与参数估计问题是密切相关。最大。由此可见，检测问题与参数估计问题是密切相关。
39、 顺便指出，可用测向测距近似公式顺便指出，可用测向测距近似公式（3.2.133.2.13） 构成最大似然联合测向测距系统。其中，构成最大似然联合测向测距系统。其中，di 表示第表示第i 个传个传感器与感器与“基准基准” 传感器位置的间距；传感器位置的间距；D 表示目标与表示目标与“基准基准” 传传感器位置之间的距离。感器位置之间的距离。3;, 2, 1),(2sincos22MMiDcDdcdiii2022-6-6第三章 参数估计理论与应用3.3 3.3 基于模型的参数最小二乘估计基于模型的参数最小二乘估计 最小二乘法（最小二乘法（Least square method，LS）是一种）是一种不
40、需要不需要任何任何先验知识先验知识的的参数估计方法参数估计方法。在被测系统的静态（稳态）。在被测系统的静态（稳态）模型和动态模型的参数辨识中，最小二乘法是最常用的参数模型和动态模型的参数辨识中，最小二乘法是最常用的参数估计方法，在测控技术领域获得了广泛的应用。估计方法，在测控技术领域获得了广泛的应用。3.3.1 3.3.1 最小二乘估计器及其统计特性最小二乘估计器及其统计特性 在一般的最小二乘问题中，线性系统的参数化模型可以在一般的最小二乘问题中，线性系统的参数化模型可以表示为表示为(3.3.1)(3.3.1) 其中，其中，u=u1,upT 是模型的输入向量，是模型的输入向量，f1,fn 是是
41、u 的已知的已知函数，也可以是未知输入的观测数据；函数，也可以是未知输入的观测数据； 1, ,n 是待估计是待估计)()()(2211uuunnfffy2022-6-6第三章 参数估计理论与应用的参数，又称为的参数，又称为回归系数回归系数； y 是系统的输出。是系统的输出。 当当 f1,fn 是是u 的的稳态响应状态稳态响应状态或是或是实测实测的的确定性变量确定性变量，且且 y 是系统的是系统的稳态输出稳态输出，则称式，则称式(3.3.1)(3.3.1)是描述线性系统的是描述线性系统的静态模型静态模型；当；当 y 是是u 的的动态响应动态响应或或瞬态观测数据瞬态观测数据，那末式，那末式(3.3
42、.1)(3.3.1)就是描述线性系统的就是描述线性系统的动态模型动态模型。 为了估计未知参数为了估计未知参数i, 必须做实验来获得数据对必须做实验来获得数据对u i yi 或或 fk (u i) yi, i=1,2,N, k=1,2,n；N n 以构成训练数以构成训练数据。将数据对代入方程据。将数据对代入方程 (3.3.1)(3.3.1)，可以获得一组线性方程：，可以获得一组线性方程： 用矩阵表示方法，将上式写成更简洁的形式，即用矩阵表示方法，将上式写成更简洁的形式，即NnNnNNnnnnyfffyfffyfff)()()()()()()()()(22112222212111212111uuu
43、uuuuuu2022-6-6第三章 参数估计理论与应用 (3.3.2)(3.3.2)其中其中 为了为了唯一唯一地地识别识别出未知出未知参数参数，通常，通常要求要求 N n，即即数据数据对对的的数目数目多于多于拟合参数拟合参数的的数目。数目。满足所有满足所有 N 个方程的精确解个方程的精确解是不可能的，因为观测数据难免受到噪声的污染，或者描述是不可能的，因为观测数据难免受到噪声的污染，或者描述系统的参数化数学模型不够精确。故必须考虑随机噪声或建系统的参数化数学模型不够精确。故必须考虑随机噪声或建模误差，在方程模误差，在方程(3.3.2)(3.3.2)中引入随机误差向量中引入随机误差向量e，得到，
44、得到 (3.3.3)(3.3.3)y NNnNnNNffffyy11111TT11,)()()()(,uuuuyye 2022-6-6第三章 参数估计理论与应用 参数参数的的最小二乘估计最小二乘估计 LS ，就是就是使使目标函数目标函数 (3.3.4)(3.3.4) 达到达到最小值最小值的的参数估计参数估计。为此，通常都采用求极值的方法。为此，通常都采用求极值的方法。 将式将式(3.3.4)(3.3.4)展开后，得到展开后，得到 对对 求导数，有求导数，有 J 极小化的条件是极小化的条件是一般均假设一般均假设T非奇异，于是，非奇异，于是，LS 有唯一的解：有唯一的解：)()()()(T1TTy
45、yeeNiiiyJyyy)()( 2)(TTTTTJy)(22)(TTJ0)(LSJ2022-6-6第三章 参数估计理论与应用 ( (3.3.53.3.5) ) 式式中中+表示表示的伪逆。的伪逆。 上述表示上述表示误差向量误差向量对整体对整体平方误差平方误差有有相同权重相同权重。可以进。可以进一步扩展，令每个一步扩展，令每个误差项误差项有有不同不同的的权重权重。设。设W 为所需的为所需的权值权值矩阵矩阵，它是，它是对称对称和和正定正定的，则加权的目标函数为的，则加权的目标函数为(3.3.6)(3.3.6) 按上述求极小值的方法，可得加权的最小二乘估计量：按上述求极小值的方法，可得加权的最小二乘
46、估计量：(3.3.7)(3.3.7)显然，当显然，当W 选为单位矩阵时，选为单位矩阵时， WLS = LS。 例例3-73-7 考虑最简单的一维线性模型（静态的），即只有考虑最简单的一维线性模型（静态的），即只有一个控制变量一个控制变量 u 的情形，这时模型的形式是的情形，这时模型的形式是yyT1T)(LS)()()(TTyWyeWeWJWyWT1T)(WLS2022-6-6第三章 参数估计理论与应用求未知参数求未知参数0 和和1的的LS估计量估计量。 解解 实际过程输出是模型的输出加上一随机误差项，即实际过程输出是模型的输出加上一随机误差项，即观测数据对观测数据对ui, yi的结构应为的结构
47、应为式中，式中，ei 称为模型的称为模型的残差残差或或观测噪声观测噪声，一般认为是，一般认为是零均值零均值、相互独立相互独立的的随机序列随机序列，并具有，并具有相同相同的的方差方差2。将上式写成。将上式写成矩阵形式：矩阵形式： 根据式根据式(3.3.5)(3.3.5)，可得，可得LS估计量：估计量：uy10Nieuyiii, 2 , 1,10eNNNeeuuyy11011112022-6-6第三章 参数估计理论与应用 如果进一步假定如果进一步假定 ei 的分布是正态的，则容易验证，方差的分布是正态的，则容易验证，方差2 的的ML估计量估计量是是 作为练习，请读者在作为练习，请读者在Matlab
48、平台上输入以下数据和函平台上输入以下数据和函数：数：x= 1 2 3 4 5 ; y= 1.3 1.8 2.2 2.9 3.5 ; p, s =polyfit(x, y, 1)% 生成拟合一次多项式生成拟合一次多项式运行结果是：运行结果是：p=0.55 0.69，s=0.1643。即即y=0.55x+0.69标准差为标准差为0.1643。 y1TT10LS)(NiiiuyN12102)(12022-6-6第三章 参数估计理论与应用 例例5-85-8 （可线性化的非线性静态模型（可线性化的非线性静态模型曲线回归）假曲线回归）假设有一个非线性模型的输出为设有一个非线性模型的输出为 其中，其中，x1
49、，x2 为确定性输入变量，为确定性输入变量，a，b和和 c为待估计参数。为待估计参数。 解解 上式两边经简单的代数运算，再同时取自然对数，上式两边经简单的代数运算，再同时取自然对数，可转化为一个线性模型：可转化为一个线性模型：这说明变换后的输出这说明变换后的输出 ln (y-1-1) 可以显式地表达为以可以显式地表达为以 lnx1和和 x2 为输入为输入、以、以 lna，b 和和 c 为参数为参数的的线性模型线性模型。因此，就可以。因此，就可以按按变换后的线性模型用最小二乘法来估计变换后的未知参数变换后的线性模型用最小二乘法来估计变换后的未知参数，然后，再根据变换后的估计参数计算出原参数。然后
50、，再根据变换后的估计参数计算出原参数。2e111cxbaxy211lnln) 1ln(cxxbay2022-6-6第三章 参数估计理论与应用 判定判定输入输入x- -输出输出y之间的之间的关系关系能否用一个能否用一个线性模型线性模型来描来描述的标准，通常用述的标准，通常用互相关系数互相关系数的大小来衡量：的大小来衡量：(3.3.8)(3.3.8)xy 的的绝对值绝对值越大越大，表示变量之间的，表示变量之间的线性关系线性关系越密切越密切，因而，因而线性回归的效果就越好。线性回归的效果就越好。 例例3-93-9 设某一结构参数设某一结构参数 n，m 和和 d 已知的离散线性系已知的离散线性系统，其
