1、第3章 信号检测与估计的基本概念第3章 信号检测与估计的基本概念3.1 引言3.2 几种统计判决准则3.3 匹配滤波器3.4 广义匹配滤波器3.5 最大似然估计3.6 最小二乘估计第3章 信号检测与估计的基本概念3.1 引引 言言信号处理的基本任务是利用观测数据作出关于信号与(或)系统的某种统计决策。统计决策理论主要解决两大类问题:假设检验与估计。信号检测、雷达目标检测等是假设检验的典型问题。估计理论涉及的范围更广泛，它又被分为非参数化和参数化两类方法。参数化方法假定数据服从一已知结构的概率模型，但模型的某些参数未知。参数化估计与系统模型的辨识密切相关，其主要基础是优化理论，即被估计的参数应该
2、在某种准则下是最优的，以及如何获得最优的参数估计。与参数化方法不同,非参数化方法不假定数据服从某种特定的概率模型，例如基于离散Fourier变换的功率谱估计和高阶谱估计等就是典型的非参数化方法。第3章 信号检测与估计的基本概念3.2 几种统计判决准则几种统计判决准则3.2.1 贝叶斯准则贝叶斯准则贝叶斯准则是一种常用的判决准则。在二元假设检验应用贝叶斯准则时，设信源的两个输出(假设)发生的概率已知，假设H0发生的概率即先验概率为P(H0)，假设H1发生的概率即先验概率为P(H1)。两个假设H0和H1总有一个为真，所以有P(H0)+P(H1)=1在做出某种判决时总要付出一定的代价，代价的大小由信
3、源的输出假设和判决结果决定。假如在雷达系统中，当敌方导弹来袭时，如果雷达系统未能发现该导弹目标，即漏检，则代价可能是己方被导弹击中，后果严重；当敌方没有发射导弹，而雷达系统却误报有导弹来袭时，即虚警，则代价可能是发射一枚导弹攻击不存在的目标，与漏检的后果差别很大。在数字通信系统中，情况与雷达有较大的不同，一般情况下对接收码字的错误判决的代价都是相同的。第3章 信号检测与估计的基本概念在假设检验中，一种判决的代价和另一种判决的代价可能相同，也可能不同，为此赋予每一个可能的判决一个代价，用代价因子Cij表示假设Hj为真时，判决Hi成立的代价。一般情况下，假定错误判决的代价因子大于正确判决的代价因子
4、，即满足CijCii，ij。二元假设检验的代价因子见表 3.1。表表 3.1 二元假设检验的代价因子二元假设检验的代价因子第3章 信号检测与估计的基本概念对于Hj为真而判决Hi成立(i，j=0，1)的情况，判决概率为P(Hi|Hj)，代价因子为Cij，于是在Hj为真时判决所付出的平均代价为(3.2.1)10()(|),0,1jijijiC HC P HHj考虑到假设Hj出现的先验概率P(Hj)，则判决所付出的总平均代价为11000000100100110111111(|)(|)(|)+(|)(|)ijjijjijCC P HP HHC P HP HHC P HP HHC P HP HHC P
5、HP HH(3.2.2)第3章 信号检测与估计的基本概念贝叶斯准则就是在假设Hj的先验概率P(Hj)已知，各种判决代价因子Cij给定的情况下，使平均代价 最小的准则。从假设检验模型可知，当Hj为真时，事件(Hi|Hj)由概率转移机构映射到观测空间R，落入Hi成立的判决域Ri后而判决Hi成立。因此，平均代价 也可以通过转移概率密度函数及判决域来表示，即CC010111000000100001111111(|)d (|)d(|)d +(|)d(|)diijjjRjiRRRRCC P Hp x HxC P Hp x HxC P Hp x HxC P Hp x HxC P Hp x Hx(3.2.3)
6、第3章 信号检测与估计的基本概念因为观测空间R划分为R0域和R1域，且满足R=R0R1，。又因为对于整个观测空间R有01RR 01(|)d(|)d1RRp x Hxp x Hx所以，式(3.2.3)中域R1积分项可表示为100(|)d(|)d(|)d1(|)djjjjRRRRp x Hxp x Hxp x Hxp x Hx(3.2.4)这样，平均代价 可表示为C000111101111010000(|)(|)dRCC P HC P HP HCCp x HP HCCp x Hx(3.2.5)第3章 信号检测与估计的基本概念对式(3.2.5)进行分析，已获得使平均代价 最小的判决域划分和贝叶斯判决
7、规则。式(3.2.5)中的第一和第二两项是固定平均代价分量，与判决域划分无关。由于代价因子CijCjj，ij,概率密度函数p(x|Hj)0，所以式(3.2.5)中的被积函数是两个正项函数之差，在某些x值处被积函数可能取正值，而在另外一些x值处则有可能取负值，因此式中的积分项是平均代价可变部分，它的正负受积分区域R0控制。根据贝叶斯准则，应使平均代价最小，为此，把凡是使被积函数取负值的那些x值划分给R0域，而把其余的x值划分给R1域，以保证平均代价最小。这样H0成立的判决域R0可这样来确定:所有满足C101111010000(|)(|)0P HCCp x HP HCCp x H(3.2.6)第3
8、章 信号检测与估计的基本概念的x值划分给R0，判决H0成立；把不满足式(3.2.6)的x值划归R1域，判决H1成立。于是，将式(3.2.6)改写，得到贝叶斯判决规则:10010001010111(|)(|)HHP HCCp x Hp x HP HCC(3.2.7)式(3.2.7)不等号左边是两个似然函数，即转移概率密度函数之比，称为似然比(Likelihood Ratio)，用(x)表示，即(3.2.8)10(|)()(|)p x Hxp x H而不等式的右边是由先验概率P(Hj)和代价因子Cij决定的常数，称为似然比检测门限(Likelihood Ratio Detection Thresh
9、old)，记为第3章 信号检测与估计的基本概念(3.2.9)0100010111P HCCP HCC所以由贝叶斯准则得到的似然比检验(Likelihood Ratio Test)为(3.2.10)10()HHxp(x|H1)和p(x|H0)是N维随机向量x的函数，而(x)是x的两个似然函数之比，所以(x)是非负的一维随机变量，与x的正负和维数无关；由于(x)是观测量x的函数，而x是随机变量，所以(x)也是随机变量；因为(x)仅是观测量x的函数，不含任何未知参量，所以又称(x)为检验统计量。第3章 信号检测与估计的基本概念从式(3.2.8)可知，根据似然比检验要对观测量x进行处理，即要先计算似然
10、比(x)，然后将其与预设的似然比检测门限比较再做出判决。似然比(x)的计算不仅与假设的先验概率P(Hj)无关，也与代价因子Cij无关。因此，不论假设的先验概率是多少，也不管代价因子如何给定，它们的似然比计算结果是一样的。似然比的这种不变性在实际中非常重要。似然比的计算虽然与先验概率和代价因子无关，但这不意味着它们对检验准则没有影响。假设的先验概率P(Hj)和代价因子Cij的取值对检验准则的影响是通过似然比检测门限来进行的。第3章 信号检测与估计的基本概念由式(3.2.9)可知，的取值由P(Hj)和Cij决定，为了在不同先验概率P(Hj)和不同代价因子Cij时，都能达到贝叶斯准则下的最小平均代价
11、，就应按式(3.2.9)计算相应的似然比检测门限。似然比(x)的形式从理论上讲有很多种，但是在很多情况下具有指数函数的形式。因为对数是单调的增函数，并且似然比(x)和似然比检测门限是非负的，为使判决式简化，可以对式(3.2.10)的两端取自然对数，这样判决规则可等价为(3.2.11)10ln()lnHHx第3章 信号检测与估计的基本概念这种形式的判决规则给计算和分析带来了方便。式(3.2.10)和式(3.2.11)为似然比检验的两种处理形式，其框图分别如图 3.1(a)和(b)所示。图 3.1 似然比检验第3章 信号检测与估计的基本概念为了使检验系统更容易实现和便于分析性能，通常对似然比检验判
12、决式或对数似然比检验判别式再进行运算整理，使判决式左边是观测矢量x的最简单函数T(x)，判决式右边是某个常数，这样化简后的判决规则可表示为10HHT X式中，T(x)称为检验统计量，为检测门限。第3章 信号检测与估计的基本概念例例 3.1 在二进制数字调制系统中，假设为H1时，信源输出为常值电压A。假设为H0时，信源输出为0；信号在通信信道传输过程中叠加了高斯噪声w(t)；在接收端对接收信号x(t)进行了N次独立采样，样本为xn，n=0，1，N1；如果噪声样本wn是均值为0、方差为2的高斯噪声，似然函数比检测门限已知，试确定似然比检验判决准则，画出信号监测系统框图。解解:这样的调制系统就是数字
13、通信中的通/断键控。依题意，可有两种假设:10:,0,1,1:,0,1,1Hx nAw n nNHx nw nnN第3章 信号检测与估计的基本概念因为噪声样本wnN(0，2)，所以其概率密度函数为1/22221 exp22xnp x n这样，在两个假设下，观测样本的概率密度函数，即似然函数分别为21/21221/22022 1|exp221|exp22x nAp x nHxnp x nH考虑到N次采样是统计独立的，可得在两种假设下观测矢量x的概率密度函数分别为第3章 信号检测与估计的基本概念2/211112200 1(|)|exp22NNNnnx nAp x Hp x nH/221100220
14、01(|)(|)exp22NNNnnxnp x Hp x nH 这样，似然比为2112200(|)()exp(|)2Nnp x HANAxx np x H于是似然比检验为1021220exp 2HHNnANAx n两边取自然对数得1021220 ln2HHNnANAx n第3章 信号检测与估计的基本概念为进一步简化，将不等式左边的常数项NA2/22移到不等式的右边，并整理为如下的判决准则:图 3.2 信号检测系统模型 102101 ln2HHNnAT xx nNNA经过上述简化后,信号检测的判决式从计算似然比简化为对观测数据求和取平均再与检测门限相比较作出判决的形式。根据前面的分析，信号检测系
15、统模型如图 3.2所示。第3章 信号检测与估计的基本概念3.2.2 最小错误概率准则最小错误概率准则在数字通信系统中，通常有正确判决不付出代价与错误判决代价相同的情况，即C00=C11=0，C10=C01=1。这时平均代价表示为100011010101(|)d(|)d(|)(|)RRCP Hp x Hxp Hp x HxP HP HHP HP HH该式恰好是平均错误概率。因此，平均代价最小等效为平均错误概率最小，使平均错误概率最小的准则称为最小错误概率准则。平均错误概率记为Pe=P(H0)P(H1|H0)+P(H1)P(H0|H1)(3.2.13)第3章 信号检测与估计的基本概念类似于贝叶斯准
16、则的分析方法，将Pe表示式改写成(3.2.14)0e01100()()(|)()(|)dRPP HP Hp x HP Hp x Hx将所有满足P(H1)p(x|H1)P(H0)p(x|H0)0,所以由式(3.2.28)解出的必须满足0。10(|)()0(|)p x Hxp x H第3章 信号检测与估计的基本概念现讨论似然比检测门限的作用。类似式(3.2.28)，有(3.2.29)11(|)(|)DMPpH dPpH d 显然，增加，PFA减小，PM增加；相反，减小，PFA增加，PM减小。这就是说，改变就能调整判决域R0和R1。奈曼-皮尔逊准则可看成是贝叶斯准则在P(H1)(C01C11)=1，
17、P(H0)(C10C00)=时的特例,为似然比检测门限，为统一起见仍用表示，即(3.2.30)1010(|)()(|)HHp x Hxp x H第3章 信号检测与估计的基本概念奈曼-皮尔逊准则的最佳检验是由三个步骤完成的:(1)对观测量x进行统计描述得p(x|H1)和p(x|H0)，求出式(3.2.30)的似然比检验式，并进行化简(如取自然对数)，得到检验统计量T(x)的判决规则表示式及检测门限，是似然比检测门限的函数，和待求:(2)根据检验统计量T(x)与检测门限的判决规则表示式和已知，由PFA=的约束0FA()|)dp T xHTP求出检测门限，如需要可进一步求出；(3)按式完成判决。10
18、()HHT x第3章 信号检测与估计的基本概念3.3 匹匹 配配 滤滤 波波 器器在实际中常常面临这样一类问题:加到线性滤波器输入端的是信号与噪声的混合信号，而希望这个线性滤波器的输出达到某种意义上的最佳。例如，在加性白高斯噪声信道下，二进制调制的数字通信系统的性能与信噪比SNR有关，SNR越大，误码率或平均错误概率就越小，因此往往直接用线性滤波器输出信噪比最大作为准则来设计接收机或线性滤波器。匹配滤波器就是这样一种最佳线性滤波器，在输入为叠加噪声的确知信号时，所得输出信噪比最大。这是因为在接收机中有时并不需要恢复出发射的信号波形，而只需知道信号是否存在。因此，从线性滤波器输出端能获得最大信号
19、噪声功率比的角度出发，推导滤波器的最佳传输函数，从而建立匹配滤波器理论。匹配滤波器是通信、雷达、声呐等领域信号检测的重要理论工具，还是许多最佳检测系统的基本组成部分，它也在最佳信号参量估计、信号分辨、某些信号波形的产生和压缩等方面起着重要作用。第3章 信号检测与估计的基本概念首先通过一个高斯白噪声中确定信号的检测问题引出匹配滤波器的概念。考虑如下检测问题:H0:xn=wn，n=0，1，N1H1:xn=sn+wn，n=0，1，N1式中，信号sn已知，wnN(0，2)。考虑到N次采样是独立的，可得在两种假设下观测矢量x=x0 x1 xN1T的概率密度函数分别为 12210211(|)exp2()2
20、(2)NNnp xx ns nH12002112(|)exp2 2(2)NNnp xHx n第3章 信号检测与估计的基本概念这样似然比为 11212000(|)12()exp(|)()2NNnnp xxp xHx ns nx nH于是似然比检验为1011220012exp()2NNnnHHx ns nx n 两边取自然对数得1011220012ln()2NNnnHHx ns nx n进一步简化整理为如下判决规则:101122001()ln 2NNnnHT xx n s ns nH第3章 信号检测与估计的基本概念令不等式右边为新的门限，则(3.3.1)1010()NnHT xx n s nH如果
21、采用NP检测器，门限应满足PFA=。该检测器是由一个检验统计量T(x)和门限组成的。式(3.3.1)中的检验统计量T(x)可理解为根据信号值对观测数据进行加权，大的信号样本采用大的加权。由于检验统计量T(x)把观测数据和信号进行相关运算，所以称式(3.3.1)的检测器为相关器，如图3.3(a)所示。第3章 信号检测与估计的基本概念检验统计量T(x)的另一种解释是把它和有限冲激响应(FIR)滤波器联系起来，它可以看做是数据xn通过单位冲激响应为hn的FIR滤波器的输出，其中hn=sN1n，n=0，1,，N1。这是因为数据通过单位冲激响应为hn的FIR滤波器的输出为0 nky nh nm x m假
22、设nN1，xn=0。当hn=sN1n，n=0，1，N1时，输出为0 1()nky ns Nnm x m 则滤波器在n=N1时刻的输出为第3章 信号检测与估计的基本概念101 ()Nky Ns m x mT x即相关器与hn=sN1n 的FIR滤波器在n=N1时刻等效。由于该滤波器的单位冲激响应hn与信号相匹配，所以称该滤波器为匹配滤波器，如图 3.3(b)所示。图 3.3 检测器与匹配滤波器第3章 信号检测与估计的基本概念匹配滤波器也可以通过线性时不变系统输出最大信噪比导出。考虑含有信号和加性噪声的接收波形xn=sn+wn,n=0，1，N1，其中信号sn是确知的，信号的频谱为10()exp(j
23、)NnSs nn(3.3.3)输入噪声wn是均值为0、方差为2的高斯白噪声，噪声的相关函数为rw(m)=E(wnwn+m)=2m(3.3.4)输入混合波形xn=sn+wn通过线性时不变滤波器后，输出的混合波形为yn=s0n+w0n。因为滤波器是线性时不变系统，可分别用线性变换求解输出信号s0n和输出噪声w0n。第3章 信号检测与估计的基本概念假设线性滤波器的单位冲激响应hn在区间0，N1之外为0，在区间内为任意值，则100 Nms nh nm s m100 Nmnh nm w mw当n=N1时，输出为10011 NmNh Nm s ms 10011 NmNh Nm w mw 第3章 信号检测与
24、估计的基本概念滤波器输出端的信噪比SNR定义为220220110(1)101 1 NNmENNEmh Nm s mswh Nm w m 输出信号功率输出噪声平均功率(3.3.5)匹配滤波器就是使式(3.3.5)的信噪比达到最大值的线性滤波器。它能保证最佳地从噪声背景中提取信号。为寻求=max时的线性滤波器，可以利用柯西-许瓦尔兹(Cauchy-Schwartz)不等式求解。柯西-许瓦尔兹不等式简述如下。第3章 信号检测与估计的基本概念设对列矢量x和y，有下列不等式成立:(yTx)2(yTy)(xTx)(3.3.6)当且仅当y=x(3.3.7)时不等式才可取等号，这里为任意常数。令s=s0 s1
25、 sN1T，h=hN1 hN2 h0T,w=w0 w1wN1T。利用式(3.3.6)，可将式(3.3.5)改写为2TTT2TT2T()()1()T()()()()EEshh h s ss shw w hwh(3.3.8)第3章 信号检测与估计的基本概念式中，令=sTs为输入信号的能量，故得(3.3.9)2式中，/2=max为线性滤波器所能给出的最大信噪比。根据不等式取等号的条件式(3.3.7)，可得当h=s时，即hN1n=sn，n=0，1，N1或等价于当hn=sN1n，n=0，1，N1(3.3.10)时，输出信噪比最大。式(3.3.10)表明，匹配滤波器的单位冲激响应是输入信号在时间轴上的反转
26、并延时N1。对于匹配滤波器来说，重要的是匹配滤波器传输函数形状，而不是相对大小，故可令=1，即得匹配滤波器的单位脉冲响应:hn=sN1n。第3章 信号检测与估计的基本概念3.4 广义匹配滤波器广义匹配滤波器3.3节中假定观测噪声是均值为0的高斯白噪声WGN，现在讨论非白噪声(即色噪声)的情况。色噪声背景下确知信号的匹配滤波器一般称为广义匹配滤波器。对于WGN中的已知信号，匹配滤波器是最优检测器。然而，在多数情况下噪声是相关噪声，假设wN(0，C)，其中C是协方差矩阵。如果噪声是宽平稳(Wide Sense Stationary,WSS)的随机过程，那么C是对称的Toeplitz矩阵，这是因为对
27、于WSS随机过程有Cmn=cov(wm，wn)=E(wmwn)=rwwmn所以，C的主对角线及与主对角线平行的对角线上的元素都相等。对于非平稳噪声，C是一个任意协方差矩阵。第3章 信号检测与估计的基本概念对于噪声是WGN的情况，假设接收到的数据是在信号间隔0，N1内观测到的(假设在间隔以外信号为零)，由于间隔外的噪声与间隔内的噪声无关，所以间隔外的数据是与检测无关的数据，故可以忽略。因此假设观测间隔为0，N1，检测性能没有损失。如果噪声是相关噪声，将信号间隔外的采样数据包括在检测器中，可提高检测性能。在下面的讨论中，假设观测数据为x=x0 x1 x2 xN1T。下面来确定高斯色噪声下的NP检测
28、器。假设在下面两个假设中做出选择:H0:xn=wn，n=0，1，N1H1:xn=wn+sn，n=0，1，,N1 (3.4.1)第3章 信号检测与估计的基本概念在H0假设下，xN(0，C)；在H1假设下，xN(s，C)。根据前面的假设则有似然函数T1112211(|)exp()2()()(2)detNp xxsCx sCHT1012211(|)exp2()(2)detNp xCx C xH根据NP定理中的判决准则，有1010()()lnln()|Hp xl xp xHHH第3章 信号检测与估计的基本概念式中 T1T11()2()()l xx sx sCx C x T1T1T1T1122x C x
29、x C ss C sx C x T1T112x C ss C s由于式(3.4.2)中第二项是常数项，故可以归在门限中，所以有10T1()HT xHx C s如果噪声是WGN，C=2I，式(3.4.3)可简化为10T2HsHx第3章 信号检测与估计的基本概念或101T0 NnHsx n s nHx式(3.4.3)判决规则的检测器称做广义相关器或广义匹配滤波器。令修改信号s=C1s，因此可得T(x)=xTC1s=xTs(3.4.4)所以，这里是用修改的信号与数据进行相关的。例例 3.3 已知如下两个假设H0:xn=wn，n=0，1，N1H1:xn=wn+sn，n=0，1，N1第3章 信号检测与估
30、计的基本概念其中，wn为高斯色噪声，各wn互不相关，且服从wn N(0，2n)，试求具有不同方差的不相关噪声的检测统计量。解解:如果wn N(0，2n)，各wn互不相关，那么C=diag(20，21，2N1)，C1=diag ,于是式(3.4.3)为10120 ()NnnHx n s nT xH2121201,1,1N上式表明，如果某数据采样的方差小，那么就对它进行较大的加权。对上式进一步整理，则在H1的假设下有10 ()nNnnw ns n s nT x10 Nnnns ns nw n第3章 信号检测与估计的基本概念式中，wn=wn/n。由于，Cw=I，所以色噪声样本被预白化，即使色噪声wn
31、变为白噪声wn。这样，广义匹配滤波器首先是预白化噪声样本，在预白化的过程中，同时也使信号发生变化，这时信号变为sn=sn/n。简单地说，就是将含有色噪声的输入信号xn通过一个白化滤波器，使色噪声变为白噪声。因此，在预白化后，检测器相关的信号应是变化的信号sn。于是，广义匹配滤波器的检测统计量可表示为10()NnTx n s nx第3章 信号检测与估计的基本概念式中，xn=xn/n，可把它看做是一个白化滤波器，在它之后是相关器或匹配滤波器，相关器的另一个相关信号是sn，或匹配滤波器与sn相匹配。下面讨论更一般的情况。对于任意正定矩阵C，存在正定C1，因此，C1可表示为C1=DTD,其中D是非奇异
32、NN矩阵。如在前面的举例中，D=diag(1/20，1/21，1/2N1)。于是,检验统计量为T(x)=xTC1s =xTDTDs =xTs第3章 信号检测与估计的基本概念式中，x=Dx，s=Ds。根据上式可得广义匹配滤波器的预白化形式如图 3.4所示。其中线性变换D称为预白化矩阵，它使高斯色噪声变为WGN。这可由下式得到证明。令w=Dw，那么Cw=E(wwT)=E(DwwTDT)=DE(wwT)DT=DCDT =D(DTD)1DT=I第3章 信号检测与估计的基本概念图 3.4 广义匹配滤波器看做是预白化器加上相关器(或匹配滤波器)第3章 信号检测与估计的基本概念3.5 最大似然估计最大似然估
33、计最大似然估计是最常用和最有效的估计方法之一。最大似然估计的基本思想是:在对被估计的未知量(或参数)没有任何先验知识的情况下，利用已知的若干观测值估计该参数。因此，在使用最大似然估计方法时，被估计的参数假定是常数，但未知；而已知的观测数据则是随机变量。第3章 信号检测与估计的基本概念令x1，x2，xN是随机变量x的N个观测值，f(x1，x2，xN|)，是给定参数情况下观测样本(x1，x2，xN)的联合条件概率密度函数。假定联合条件概率密度函数存在且有界，我们来考虑未知(固定)参数的估计问题。当把联合条件分布密度函数f(x1，x2，xN|)视为真实参数的函数时，常称之为似然函数。所谓似然函数，就
34、是包含未知参数信息的可能性函数。最大似然估计就是使似然函数f(x1，x2，xN|)最大化的估计值。利用数学符号，我们将未知参数的最大似然估计记作(3.5.1)ML12argmax(,|)Nf x xx因此，最大似然估计也可以看做是联合条件概率密度函数f(x1，x2，xN|)的全局极大点。第3章 信号检测与估计的基本概念严格来说，f(x1，x2，xN|)与观测样本(x1，x2，xN)的任意函数相乘的结果都是似然函数，但在这里，我们只称联合条件概率密度函数f(x1,x2,xN|)本身为似然函数。显而易见，随机变量x的不同实现x1,x2,xN给出了不同的联合条件概率密度函数f(x1，x2，xN|)，
35、所以似然函数的全局极大点与观测样本(x1，x2，xN)有关，即最大似然估计与观测样本有关。从这个意义上讲，最大似然估计ML是一合理的估计子。由于对数函数是严格单调的，故f(x1,x2,xN|)的极大点与lnf(x1,x2,xN|)极大点一致。对数函数lnf(x1,x2,xN|)称为对数似然函数,常用来代替似然函数f(x1,x2,xN|)。有时也习惯将lnf(x1,x2,xN|)简称为似然函数。第3章 信号检测与估计的基本概念为了后面书写方便，我们令 L()=lnf(x1，x2，xN|)(3.5.2)于是，的最大似然估计可以通过令(3.5.3)()0L求得。在一般情况下，是一向量参数，譬如说=1
36、，2，pT，则p个未知参数的最大似然估计i，ML由(3.5.4)()0iL，i=1，2，p确定。若x1，x2，xN是独立的观测样本，则似然函数可写作第3章 信号检测与估计的基本概念 12121()ln(,|)ln(|)(|)(|)ln(|)NNNiiLf x xxf xf xf xf x(3.5.5)在这种情况下，可以通过求解(3.5.6)1111()ln(|)0()ln(|)0NiiNiippLf xLf x分别求出，i=1，2，p。,i ML第3章 信号检测与估计的基本概念最大似然估计具有以下性质:(1)最大似然估计一般不是无偏估计，但其偏差可以通过对估计值乘某个合适的常数加以消除；(2)
37、最大似然估计是一致估计；(3)最大似然估计给出有效估计，如果它存在的话；(4)对于大的N，最大似然估计为一高斯分布，并且其均值为，方差为ML12121(,|)NEf x xxN 例例 3.4 令x1，x2，xN是服从一个具有概率密度函数22()221(,)e2xf x 第3章 信号检测与估计的基本概念的正态分布的随机观测样本，试确定均值和方差2的最大似然估计。解解:似然函数是均值和方差2二者的函数，故有22()22121222211(,|,)e21 (2)exp()2ixNNiNNiif x xxx 从而有22212211ln(,|,)ln(2)ln()()222NNiiNNLf x xxx
38、分别求L关于和2的偏导，然后令偏导为0，得到211()0NiiLx222411()022NiiLNx 第3章 信号检测与估计的基本概念均值的最大似然估计从可解出 0L(3.5.7)ML11NiixxN将其代入，可以解得20L2211()NMLiixxN注意，样本均值11NiixxN和样本方差22ML11=()NiixxN(3.5.8)第3章 信号检测与估计的基本概念均值的最大似然估计ML为无偏估计，而方差的最大似然估计2ML则是有偏的。但是，若用一常数N/N1与2ML相乘作为新的估计，则新的估计是无偏的，即原估计2ML的偏差可以被消除。第3章 信号检测与估计的基本概念3.6 最小二乘估计最小二
39、乘估计3.6.1 最小二乘估计及其性能最小二乘估计及其性能在许多应用中，未知的参数向量=1,2,pT常可建模成下面的矩阵方程:A=b(3.6.1)式中，A和b分别是与观测数据有关的系数矩阵和向量，它们是已知的。这一数学模型包括以下三种情况:(1)未知参数的个数与方程个数相等，且矩阵A非奇异，此时，矩阵方程(3.6.1)称为适定方程，其解为=A1b；第3章 信号检测与估计的基本概念(2)矩阵A是一“高矩阵”(行数多于列数)，即方程个数多于未知参数个数。此时，矩阵方程(3.6.1)称为超定方程；(3)矩阵A是一“扁矩阵”(行数少于列数)，即方程个数少于未知参数个数。此时，矩阵方程(3.6.1)称为
40、欠定方程。在谱估计、系统辨识等中的矩阵方程多为超定方程，这正是本节的讨论对象。为确定参数估计向量DD(-1HT5DD)，我们选择这样一种准则:使误差的平方和(3.6.2)2TT1()()Niiee eAbAb为最小，所求得的估计称为最小二乘估计，记作LS，损失或代价函数J=eTe，可展开为第3章 信号检测与估计的基本概念 J=TATA+bTbTATbbTA求J=eTe关于的导数，并令结果等于0，则有TTd220dJA AA b这表明，最小二乘估计由下式决定:ATA=ATb (3.6.3)这一方程有两类不同的解:(1)矩阵A秩满列时，由于ATA非奇异，最小二乘估计由LS=(ATA)1ATb(3.
41、6.4)唯一确定，此时称参数向量是唯一可辨识的。第3章 信号检测与估计的基本概念(2)矩阵A秩亏缺时，由不同的值均能得到相同的A值。因此，虽然向量b可以提供有关A的某些信息，但我们却无法区别对应于同一A值的各个不同的值。在这个意义上，我们称参数向量是不可辨识的。更一般地讲，如果某参数的不同值给出在抽样空间上的相同分布，则称这一参数是不可辨识的。下面的定理表明，当误差向量的各个分量具有相同的方差，而且各分量不相关时，最小二乘估计在方差最小的意义上是最优的。第3章 信号检测与估计的基本概念定理定理1 令b是一可表示为b=A+e的随机向量，其中，A为Np矩阵(Np)，其秩等于p；是一未知向量，而e为
42、一误差向量。若其均值向量Ee=0,方差矩阵var(e)=2I,其中2未知，则对线性参数函数=cT的任何一个其他的无偏估计子，恒有ELS=,且var(cTLS)var()。证明证明 因为Ee=0及var(e)=2I，故可以得到Eb=EA+Ee=A及var(b)=var(A+e)=var(A)+var(e)=var(e)=2I因此有T1TT1TT1TLS()()()EEA AA bA AA E bA AA A第3章 信号检测与估计的基本概念利用这一结果，易得EcTLS=cTELS=cT=故cTLS为无偏估计。由于是一线性估计子，所以它可以表征为=wTb，其中w为一常数向量，又由于是的无偏估计子，故
43、对任意，可得 wTA=wTEb=EwTb=E=cT由此得到wTA=cT。计算的方差，则TT2Tvar()var()var()w bwbww w类似地，有T2LSvar()c第3章 信号检测与估计的基本概念比较var(cTLS)和var()可知，为了证明var(cTLS)var()，只需要证明wTA(ATA)1ATwwTw或等价证明F=IA(ATA)1AT是半正定的。容易验证F2=FF=F，即F为幂等矩阵，而任何一个幂等矩阵都是半正定的。于是，定理得证。第3章 信号检测与估计的基本概念3.6.2 加权最小二乘估计加权最小二乘估计定理1表明，当误差向量e的各分量不仅具有相同的方差，而且还不相关时，
44、最小二乘估计LS=(ATA)1ATb具有最小的估计方差，因而是最优的。如果误差向量各分量具有不同的方差，或者各分量之间相关，则最小二乘估计就不再具有最小的估计方差，因而不会是最优的。那么，在这样的情况下，如何求出具有最小方差的估计子呢?为了克服最小二乘估计的这一缺陷，我们来考虑对其损失函数误差平方和进行改造，考虑使用“加权误差平方和”作为新的损失函数:Q()=eTWe (3.6.5)第3章 信号检测与估计的基本概念并简称其为加权误差函数，式中W为加权矩阵。与最小二乘估计使J=eTe最小化不同，现在考虑使加权误差函数Q()最小化。使用这一准则得到的估计子称为加权最小二乘估计子，并记作WLS。为了
45、确定加权最小二乘估计，将Q()展开为 Q()=(bA)TW(bA)=bTWbTATWbbTWA+TATWA然后求Q()相对于的导数，并令结果等于0，即有TTd()220dQA WbA WA 由此得到加权最小二乘估计满足的条件TTWLSA WAA Wb第3章 信号检测与估计的基本概念假定ATWA非奇异，则WLS可由T1TWLS()A WAA Wb确定。问题是:如何选择加权矩阵W？假定误差向量的方差var(e)具有一般的形式2V，其中V是一已知的正定矩阵。由于V正定，所以可将它表示成V=PPT，其中P非奇异。令=P1e和x=P1b，则使用P1左乘原观测模型b=A+e后，即有x=P1(A+e)=B+
46、(3.6.7)式中B=P1A。有意思的是，新的观测模型式(3.6.7)的误差向量的方差矩阵为11T12TT2var()var()var()P ePe PPPP PI(3.6.8)第3章 信号检测与估计的基本概念式中PT=(P1)T。式(3.6.8)表明，新的误差向量=P1e的各分量是不相关的，并且具有相同的方差。因此，采用x、B和之后，观测模型x=B+恰好变成了定理1中的模型，并且满足定理的条件。于是，定理1可以适用于新的模型，即最小二乘估计WLS=(BTB)1BTx=(ATPTA)1ATPTP1b =(ATV1A)1ATV1b (3.6.9)具有最小方差，是最优估计子。比较式(3.6.9)与式(3.6.6)易知，为了获得的最优加权最小二乘估计，只需要使加权矩阵W满足条件 第3章 信号检测与估计的基本概念W=V1 (3.6.10)即加权矩阵应取作V的逆矩阵，其中V由误差向量的方差矩阵var(e)=2V决定。除了最小二乘和加权最小二乘方法外，还有另外两种最小二乘的变型广义最小二乘方法和总体最小二乘方法。这里就不详细介绍了。
