1、医学信号分析与处理医学信号分析与处理 邱天邱天爽爽大连理工大学电子信息与电气工程学部大连理工大学电子信息与电气工程学部2012年年4月月11/23/20221第第4 4章章 信号检测与参数估计信号检测与参数估计11/23/20222主要内容主要内容 概述（检测与估计的概念）概述（检测与估计的概念）信号检测的极大后验概率准则信号检测的极大后验概率准则 信号检测的最小错误率准则信号检测的最小错误率准则 信号检测的贝叶斯准则信号检测的贝叶斯准则 信号检测的纽曼信号检测的纽曼皮尔逊准则皮尔逊准则 多次观测与多元检测简介多次观测与多元检测简介 参数的非线性估计参数的非线性估计 估计量的性质估计量的性质
2、参数的线性估计参数的线性估计11/23/202234.1 概述概述 信号检测信号检测（Signal Detection）表示信号的波形提取，即利用传感器和信号检测技表示信号的波形提取，即利用传感器和信号检测技术，在噪声和干扰条件下获取信号的波形。术，在噪声和干扰条件下获取信号的波形。依据已接收到的信号（称为观测数据）判断某种感依据已接收到的信号（称为观测数据）判断某种感兴趣的信号是否存在。兴趣的信号是否存在。信号参数估计信号参数估计（parameter estimation）从带噪接收信号中估计出信号的某个参数或某些参从带噪接收信号中估计出信号的某个参数或某些参数的技术与方法。数的技术与方法。
3、11/23/20224 信号检测的基本任务信号检测的基本任务 在可能发生的几种情况中做出抉择在可能发生的几种情况中做出抉择【举例举例】雷达接收机系统雷达接收机系统要根据观测到的雷达回波做出回波中是否要根据观测到的雷达回波做出回波中是否有目标信号存在的判决。有目标信号存在的判决。在数字通信系统中在数字通信系统中，接收机需要根据接收到的信号、噪声，接收机需要根据接收到的信号、噪声和干扰来判断究竟接收到了哪一种信号波形。和干扰来判断究竟接收到了哪一种信号波形。在医学问题中在医学问题中，临床医生需要根据病人的系列症状及各种，临床医生需要根据病人的系列症状及各种化验检查结果做出病人是否患病，或者患有某种
4、疾病的判化验检查结果做出病人是否患病，或者患有某种疾病的判断。断。在心电信号分析中在心电信号分析中，需要对测量得到的心电信号提取相关，需要对测量得到的心电信号提取相关特征，再按照一定的准则做出所得心电信号属于何种类型、特征，再按照一定的准则做出所得心电信号属于何种类型、患者有何疾病的判断。患者有何疾病的判断。11/23/20225 归纳归纳 从直观上我们很容易看出，在上述所列举的从直观上我们很容易看出，在上述所列举的判决问题中，每次判决不一定都是正确的，判决问题中，每次判决不一定都是正确的，由于噪声和干扰的影响，有时候可能会出现由于噪声和干扰的影响，有时候可能会出现错误的判断。错误的判断。这样
5、，此类判决问题必须从概率统计概念出这样，此类判决问题必须从概率统计概念出发，是一种发，是一种统计判决统计判决的问题。的问题。信号检测的数学基础是概率论与数理统计问信号检测的数学基础是概率论与数理统计问题中的题中的假设检验方法假设检验方法。11/23/20226 进一步以雷达信号判断为例：进一步以雷达信号判断为例：雷达信号检测：目的是确定雷达接收信号雷达信号检测：目的是确定雷达接收信号 中是否存在敌机、敌舰信号中是否存在敌机、敌舰信号 。两个假设两个假设：零假设零假设 ：即：即 中没有信号中没有信号 ，只有噪声，只有噪声 ，即即 1假设假设 ：即：即 中有信号中有信号 ，也有噪声，也有噪声 ，即
6、，即 通过关于信号和噪声的一些统计先验知识，以某种通过关于信号和噪声的一些统计先验知识，以某种判据为准则，判断观测数据的具体观察值是属于判据为准则，判断观测数据的具体观察值是属于 假设，还是假设假设，还是假设 。xs0Hxsnx n1Hxsnx s n 0H1H11/23/20227 信号检测问题的分类信号检测问题的分类 根据假设的数目，可以分为二元检测和多元根据假设的数目，可以分为二元检测和多元检测；检测；根据观测的次数，可以分为单次观测和多次根据观测的次数，可以分为单次观测和多次观测；观测；根据被检测信号的性质，可以分为确定性信根据被检测信号的性质，可以分为确定性信号检测、有未知参数的确定
7、性信号检测和随号检测、有未知参数的确定性信号检测和随机信号检测等。机信号检测等。11/23/20228 信号检测问题中各种概率的描述信号检测问题中各种概率的描述 先验概率先验概率 条件先验概率条件先验概率 后验概率后验概率11/23/20229 信号检测问题中各种概率的描述（续）信号检测问题中各种概率的描述（续）虚警概率虚警概率 漏报概率漏报概率11/23/202210 信号检测问题中各种概率的描述（续信号检测问题中各种概率的描述（续2）总错误率总错误率 检测概率检测概率11/23/202211 参数估计的基本任务参数估计的基本任务 参数估计是根据从总体中抽取的样本来估计参数估计是根据从总体中
8、抽取的样本来估计总体分布中包含的未知参数的方法。总体分布中包含的未知参数的方法。信号参数估计的任务是从带噪信号中估计出信号参数估计的任务是从带噪信号中估计出信号的某个或某些参数。信号的某个或某些参数。例如，用超声多普勒技术测量血流速时，除例如，用超声多普勒技术测量血流速时，除了从噪声中提取多普勒信息外，还要根据该了从噪声中提取多普勒信息外，还要根据该信息来估计流速的大小，即根据观测数据来信息来估计流速的大小，即根据观测数据来估计信号的时间延迟参数。估计信号的时间延迟参数。11/23/202212 最常见的参数估计问题最常见的参数估计问题 根据给定的一组随机变量的样本来估计其主要统计根据给定的一
9、组随机变量的样本来估计其主要统计量。随机变量的均值和方差的估计式。量。随机变量的均值和方差的估计式。11/23/202213 参数估计的评价准则参数估计的评价准则 估计的偏（差）估计的偏（差）估计的估计的偏差偏差（deviation）又称为又称为估计的偏估计的偏，是指是指估计估计值值 与与其真值其真值 或均值或均值 之差，之差，可以用来衡量可以用来衡量估计估计结果的精度结果的精度。E11/23/202214 关于偏的进一步说明关于偏的进一步说明11/23/202215 估计的方差估计的方差 估计的方差（估计的方差（variance）用来度量估计值）用来度量估计值 与其数与其数学期望学期望 之间
10、的分散程度。即：之间的分散程度。即：估计的方差越小，表示参数的估计值越集中在其真估计的方差越小，表示参数的估计值越集中在其真值或均值附近，即估计的分散性越小。值或均值附近，即估计的分散性越小。估计的均方误差估计的均方误差 只有采用估计的均方误差，才能较全面地反映估计只有采用估计的均方误差，才能较全面地反映估计的质量。估计的均方误差是估计偏差的平方与估计的质量。估计的均方误差是估计偏差的平方与估计方差之和。方差之和。E22Var()EE222()()EEb11/23/202216 估计的有效性估计的有效性 如果要比较同一参数的两个如果要比较同一参数的两个无偏估计无偏估计的优劣，在样的优劣，在样本
11、容量相同的情况下，需要看哪一个无偏估计的方本容量相同的情况下，需要看哪一个无偏估计的方差更小。若满足差更小。若满足 则称则称 为参数为参数 的有效估计，或称估计的有效估计，或称估计 比估计比估计更有效。更有效。12VarVar11211/23/202217 估计的一致性估计的一致性 如果当样本容量如果当样本容量 时，参数估计值无限接近其时，参数估计值无限接近其真值，即偏差和方差均趋于真值，即偏差和方差均趋于0，则该估计是一致估，则该估计是一致估计。即满足计。即满足 条件的估计为一致估计。条件的估计为一致估计。N 2lim()0NE11/23/2022184.2 信号检测的极大后验概率准则信号检
12、测的极大后验概率准则 基本条件基本条件后验概率后验概率 在一个通信系统中，在收到某个消息之后，接收端所了解到在一个通信系统中，在收到某个消息之后，接收端所了解到的该消息发送的概率称为后验概率。的该消息发送的概率称为后验概率。11/23/202219 极大后验概率（极大后验概率（MAPMAP）准则的基本思路）准则的基本思路 极大后验（极大后验（maximum a posteriori，简记为，简记为MAP）概率准则是基于这样一种思路的，即其要求按照观概率准则是基于这样一种思路的，即其要求按照观测值最可能属于哪一类来进行分类决策。我们需要测值最可能属于哪一类来进行分类决策。我们需要计算观测值来自每
13、个假设类别的后验概率，然后依计算观测值来自每个假设类别的后验概率，然后依据后验概率的大小，选择具有最大后验概率的那一据后验概率的大小，选择具有最大后验概率的那一个假设类别。个假设类别。11/23/202220 二元问题的二元问题的MAPMAP准则推导准则推导 11/23/202221 二元问题的二元问题的MAPMAP准则推导（续）准则推导（续）11/23/202222 似然函数的概念似然函数的概念 所谓所谓似然函数似然函数，是一种关于统计模型中，是一种关于统计模型中参参数的数的函函数，数，表示模型参数中的表示模型参数中的似然性似然性。似然性与概率的概念相似，似然性与概率的概念相似，都是指某种事
14、件发生的都是指某种事件发生的可能性。可能性。但是两者又有区别，概率用于在已知一些参数的情但是两者又有区别，概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。事物的性质的参数进行估计。似然比似然比则是反映真实性的一种指标。是随机变量的则是反映真实性的一种指标。是随机变量的函数，因此也是随机变量。函数，因此也是随机变量。11/23/202223【例例4.14.1】【解解】11/23/20222411/23/202225 例
15、例4.14.1的图示：的图示：11/23/202226 例例4.14.1的进一步讨论的进一步讨论11/23/202227 例例4.14.1的进一步讨论的进一步讨论2 211/23/202228 极大后验概率准则的检测性能极大后验概率准则的检测性能11/23/202229【例例4.24.2】【解解】（1）由于信号等概传输，即）由于信号等概传输，即 ，则，则 。这样，。这样，（2）01()()1/2P HP H01()/()1P HP H20ln1/22nAXA202F01/21()ded0.30852xXPp xxx20(1)1/22M11()ded0.30852xXPp xxxDM11 0.3
16、0850.6915PP EF0M1()()0.3085PP P HP P H11/23/202230【例例4.34.3】11/23/202231 进一步的说明进一步的说明 由于极大后验概率准则的推导过程只利用了贝叶斯由于极大后验概率准则的推导过程只利用了贝叶斯公式，并没有利用信号和噪声的概率密度分布信息。公式，并没有利用信号和噪声的概率密度分布信息。因此，该方法可以进一步推广应用，包括：因此，该方法可以进一步推广应用，包括：（1）不限于高斯分布的噪声。）不限于高斯分布的噪声。（2）可以应用于任意和已知的情况。）可以应用于任意和已知的情况。11/23/2022324.3 信号检测的最小错误率准则
17、信号检测的最小错误率准则 最小错误率准则的基本思路最小错误率准则的基本思路 最小错误率（最小错误率（minimum probability of error，MPE）准则将总错误率作为性能评价标准，由此导出分类准则将总错误率作为性能评价标准，由此导出分类决策的规则。假定已知每一个假设的条件概率密度决策的规则。假定已知每一个假设的条件概率密度函数和先验概率。函数和先验概率。由由4.1节的定义，信号检测的总错误率为节的定义，信号检测的总错误率为：适当选择适当选择 使使 达到最小，即为最小错误率准则。达到最小，即为最小错误率准则。00EF0M10011()()()()d()()dXXPP P HP
18、P HP HpxxP Hp xx0XEP11/23/202233 二元问题的二元问题的MPE推导推导参见图参见图4.34.3，由于，由于 总错误率又可以写为：总错误率又可以写为：分析：分析：式中的第一项 为正数，且与判决阈的选择无关；式中第二项的积分区间表示的是判决为 的区域；因此，只要把第二项中被积函数为负值的区域都划作 的判决区域，就能使总错误率达到最小。0011()d1()dXXp xxp xx 000E001110011()()d()1()d ()()()()(x)dXXXPP HpxxP Hp xxP HP HpxP Hpx1()P H1H1H11/23/202234 MPEMPE推
19、导（续）推导（续）即判决准则为，若满足即判决准则为，若满足 则判决为则判决为 。或写为：。或写为：或写为似然比的形式：或写为似然比的形式：上式即为最小错误率准则的判据。比较上式与式（上式即为最小错误率准则的判据。比较上式与式（4.11），），可见在所讨论的情况下，按照极大后验概率准则与最小错可见在所讨论的情况下，按照极大后验概率准则与最小错误率准则所做出的判断是一样的。误率准则所做出的判断是一样的。0011()()()(x)0P Hp xP Hp1H100011()()()(x)HHP HpxP Hp100101()(x)()()()HHP Hpl xpxP H11/23/202235【例例4
20、.4】所有条件与例所有条件与例4.3相同。在最小错误率准则下，根据相同。在最小错误率准则下，根据人体的身高来对其性别进行分类。试计算分类的总错误率。人体的身高来对其性别进行分类。试计算分类的总错误率。【解解】设将女性错判为男性的错误概率为虚警概率设将女性错判为男性的错误概率为虚警概率 ，将男性错判为女性的错误概率为漏报概率将男性错判为女性的错误概率为漏报概率 。根据式。根据式（4.20），计算得到似然比），计算得到似然比 ，并进一步得到判决分，并进一步得到判决分界阈值界阈值 FPMP()1l x 01.65X 220(1.6)1.622F01.650.511()deded0.308522xyy
21、 xXPp xxxx 220(1.70)1.701.650.522M111()deded0.308522xyy xXPp xxxx EF0M1FM1()()0.30852PP P HP P HPP （总错误率）（总错误率）11/23/202236 例例4.44.4的进一步说明的进一步说明 由上面的分析，可以看出判决的错误概率是比较大的。由上面的分析，可以看出判决的错误概率是比较大的。因此，只用身高这一个观测值来进行性别判断是不会得因此，只用身高这一个观测值来进行性别判断是不会得到较好的分类判断结果的。到较好的分类判断结果的。但上面的结果却是各种分类决策规则中只用身高这一个但上面的结果却是各种分
22、类决策规则中只用身高这一个观测值所能够得到的最小的错误概率。观测值所能够得到的最小的错误概率。为了改善分类判决结果，我们必须增加不同的观测值，为了改善分类判决结果，我们必须增加不同的观测值，例如体重、脚踝粗细或者腰围等。虽然这些观测值或许例如体重、脚踝粗细或者腰围等。虽然这些观测值或许不能给出完全独立于身高的信息，但他们确实能够提供不能给出完全独立于身高的信息，但他们确实能够提供了一些有助于提高分类准确性的信息。了一些有助于提高分类准确性的信息。11/23/2022374.4 信号检测的贝叶斯准则信号检测的贝叶斯准则 贝叶斯准则的基本思路贝叶斯准则的基本思路 在许多检测问题中，错误概率的大小是
23、很重要的，且错误的类型也是很关键的。举例：举例：在日常生活中，把一个坏掉的鸡蛋当作一个好的鸡蛋要比把一个好的鸡蛋当成坏蛋的代价要更大。在雷达信号检测问题中，漏报的危害显然要比虚警的危害更大。医生把有恶性肿瘤的病人诊断成没有恶性肿瘤的风险要比把没有恶性肿瘤而诊断成有的风险大得多。后者的代价是患者的心理紧张和进一步的检查治疗，而前者则可能使患者付出生命的代价。贝叶斯（贝叶斯（Bayes）准则的基本思路）准则的基本思路：把不同判决结果的不同代价考虑在决策中，在进行判决分类时使每次的平均决策代价最小。11/23/202238 贝叶斯准则定义的代价贝叶斯准则定义的代价 ：无判成无的代价。即情况属于：无判
24、成无的代价。即情况属于 ，判断也是，判断也是 时要付出的代价。时要付出的代价。：无判成有的代价。即情况属于：无判成有的代价。即情况属于 ，判断成，判断成 时时要付出的代价。要付出的代价。：有判成无的代价。即情况属于：有判成无的代价。即情况属于 ，判断成，判断成 时时要付出的代价。要付出的代价。：有判成有的代价。即情况属于：有判成有的代价。即情况属于 ，判断也是，判断也是 时要付出的代价。时要付出的代价。00c01c10c11c0H0H1H1H1H1H0H0H11/23/202239 贝叶斯准则定义的贝叶斯准则定义的平均代价平均代价 贝叶斯准则就是使上式的平均代价（有时也称为风险）最小 00F0
25、11M101F010M10001110100F01011M1(1)()(1)()()()()()()()()()ccP P HcPP Hc P P Hc P P Hc P Hc P HccP P HccP P H11/23/202240 二元问题贝叶斯准则的推导二元问题贝叶斯准则的推导 由总错误率：比较总错误率和贝叶斯平均代价式，可以看出平均代价与总错误率有相同之处，但有两点不同：平均代价表达式中多了常数项 平均代价中 和 的系数由总错误率中的 和 变为 和 参照最小错误率的判据式，贝叶斯准则的判据可以写为 EF0M1()()PP P HP P H000111()()c P Hc P HFPM
26、P0()P H1()P H01000()()ccP H10111()()ccP H10001001011011()()(x)()()()()HHP Hccpl xpxP Hcc11/23/202241 进一步地，如果正确判决的代价相等，即 ，错误判决的代价也相等，即 ，则上式（4.23）变为：显然，上式（4.24）即为最小错误率准则。由此可见，最小错误率准则是贝叶斯准则的一个特例。0011cc0110cc100101()(x)()()()HHP Hpl xpxP H11/23/202242【例例4.5】假设假设 和和 下的条件概率密度分别为下的条件概率密度分别为 和和 ，式中，式中 为单位阶跃
27、信号。设已知先验概为单位阶跃信号。设已知先验概率分别为率分别为 和和 。已知。已知 。试求：试求：（1）使贝叶斯风险最小的决策规则。（）使贝叶斯风险最小的决策规则。（2）计算贝）计算贝叶斯决策规则的贝叶斯风险（即平均代价）。叶斯决策规则的贝叶斯风险（即平均代价）。【解解】（1）先计算似然比和阈值：先计算似然比和阈值：0H1H0()e()xpxu x21()2e()xp xu x()u x0()1/3P H1()2/3P H001101100,2,3cccc210(x)2e()()2e()()exxxpl xu xu xpx0010011011()()1/3(20)1()()2/3(30)3P
28、HccP Hcc11/23/202243【例例4.5】（续）（续）当满足当满足 时，有时，有 。对两边同除以。对两边同除以2并取对数，并取对数，有：有：即为贝叶斯决策规则。即为贝叶斯决策规则。（2）先计算先计算 和和 ，有，有 即每次判决的平均代价为即每次判决的平均代价为11/18。0 x 1012e3HxH01ln6HHxFPMP2Mln6ln6ln6F012e()d365e()de d6xxxPu xxPu xxx0001110100F01011M1()()()()()()511211 236336318cc P Hc P HccP P HccP P H 11/23/2022444.5 信
29、号检测的纽曼信号检测的纽曼皮尔逊准则皮尔逊准则 纽曼纽曼皮尔逊准则的概念皮尔逊准则的概念 在许多问题特别是雷达问题中，诸如贝叶斯决策中所使用的代价值实际上是很难进行分配与确定的。此外，各个类别的先验概率 和 通常是非常不对称的，不容易先验确定的。对于这些问题，纽曼纽曼皮尔逊（皮尔逊（Neyman-Pearson）准则可以在不知道先验概率和代价值的情况下给出比较好的结果。0()P H1()P H11/23/202245 纽曼纽曼皮尔逊准则的概念皮尔逊准则的概念 在给定虚警概率 的前提下，使检测概率尽可能大，这同时也意味着使漏报概率尽可能小。但是实际上，三者之间存在着一定的矛盾。例如，如果无论在何
30、种情况下，我们总是给出没有目标的判决，这样可以使虚警概率 ，但是却会使漏报概率 。相反，如果我们总是给出存在目标的判决，这样尽管可以使漏报概率下降到 ，但是却会使虚警概率上升到 。奈曼皮尔逊准则是使用折衷的方法进行判决，并试图使漏报概率最小，这等价于使检测概率最大，同时满足约束条件使虚警概率满足设定的可接受的范围。F0PeF0P M1P M0P F1P 11/23/202246 二元问题纽曼二元问题纽曼皮尔逊准则的推导皮尔逊准则的推导 假定：假定：已知条件概率密度 和 ，并给定可以接受的 （约束条件）。未知：未知：先验概率 和 ，以及代价等 方法：方法：通过拉格朗日乘子法并使目标函数 达到最小
31、来得到，目标函数定义为：式中：0()p x1()p xF0Pe0()P H1()P HJMF0()JPPe00M11()d1()dXXPp xxp xx 0F0()dXPpxx(4.25)11/23/202247 推导（续）推导（续）为拉格朗日乘子，为一待定系数，由约束条件确定。为拉格朗日乘子，为一待定系数，由约束条件确定。将将 与与 代入式（代入式（4.25），有），有 分析：在式（分析：在式（4.26）中，）中，为常量，可以不加考虑。为常量，可以不加考虑。为使为使 达到最小，需要把积分式中使被积函数为负值的达到最小，需要把积分式中使被积函数为负值的归为一类，即若满足：归为一类，即若满足：则
32、判决则判决 属于属于 。这样，纽曼。这样，纽曼皮尔逊准则可以写为：皮尔逊准则可以写为：MPFP000MF0100001()1()d()d)1()()dXXXJPPep x xp x x eep xp xx (4.26)01eJ01()()0pxp xx1H1010(x)()()HHpl xpx(4.27)11/23/202248 纽曼纽曼皮尔逊准则的进一步说明皮尔逊准则的进一步说明 纽曼纽曼皮尔逊准则在本质上是一种似然比检验。皮尔逊准则在本质上是一种似然比检验。若信号为已知常数 ，噪声服从 高斯分布，PDF：A2(0,)nN图图4.4 纽曼纽曼皮尔逊准则示意图皮尔逊准则示意图11/23/202
33、249 纽曼纽曼皮尔逊准则的进一步说明（续）皮尔逊准则的进一步说明（续）设阈值为设阈值为 ，则虚警概率，则虚警概率 等于图中双斜线阴影部分的面等于图中双斜线阴影部分的面积，即积，即 在在 区间的曲线下面积。区间的曲线下面积。同理，检测概率 等于 在同一区域的曲线下面积。当 给定之后，值可计算确定：对于高斯分布噪声，则写为：对于高斯分布噪声，则写为：经变量代换，得经变量代换，得 为误差函数，查表得到 ，进一步计算0XFP0()p x0 xXDM1PP 1()p xF0Pe0X000()dXpxxe220201ed2nxXnxe2000211ed1erf22nuXnXueerf()01D()dXp
34、 xxP0X11/23/202250【例例4-64-6】11/23/202251 纽曼纽曼皮尔逊准则的进一步讨论皮尔逊准则的进一步讨论图图4.5 概率密度函数比较复杂情况下的纽曼概率密度函数比较复杂情况下的纽曼皮尔逊准则皮尔逊准则 11/23/202252【例例4.74.7】11/23/202253【例例4.74.7】（续）（续）【例题例题4.74.7】（续）（续）11/23/2022544.6 多次观测与多元检测简介多次观测与多元检测简介 多次观测的概念多次观测的概念 在多次观测问题中，观测数据由观测矢量在多次观测问题中，观测数据由观测矢量 代替标量代替标量 ，即依据多次测量数据或多个特征值
35、组，即依据多次测量数据或多个特征值组成的观测矢量来进行决策。成的观测矢量来进行决策。与单次观测的情况相比，多次观测的判决准则与单与单次观测的情况相比，多次观测的判决准则与单次观测的基本相同，只是需要用多维概率密度函数次观测的基本相同，只是需要用多维概率密度函数替代一维概率密度函数。替代一维概率密度函数。12nx xxXx11/23/202255 多次观测准则多次观测准则11/23/202256 观测的独立性问题观测的独立性问题11/23/202257 多元检测多元检测 在许多信号分析处理中，例如医学信号或图像的统计诊在许多信号分析处理中，例如医学信号或图像的统计诊断，往往存在多个类别，即需要根
36、据观测数据从多个假断，往往存在多个类别，即需要根据观测数据从多个假设中做出判决，这就是信号检测的多元问题。设中做出判决，这就是信号检测的多元问题。11/23/202258 多元检测（续）多元检测（续）11/23/2022594.7 参数的非线性估计参数的非线性估计 贝叶斯估计：基本概念贝叶斯估计：基本概念 贝叶斯估计的基本思路是对不同估计结果给予不同的代价，并使平均代价达到最小。在估计问题中，代价 是与待估计参数 及其估计值 有关的，即代价函数是二元函数，一般记为 。在许多情况下，我们更关心估计的误差情况以及误差与代价的关系。估计误差可以定义为参数真值与其估计值之差，即 。这样，代价函数作为估
37、计误差的一元函数定义为 。cs s(,)c s sess()()c ec ss11/23/202260 常用的代价函数常用的代价函数11/23/202261 贝叶斯估计：平均代价最小贝叶斯估计：平均代价最小11/23/202262 贝叶斯估计之一：贝叶斯估计之一：均方误差估计均方误差估计 均方误差（均方误差（mean square error）估计，简称为）估计，简称为MS估计，记为估计，记为 。其代价函数为。其代价函数为 ，代入条，代入条件风险的表达式，有件风险的表达式，有 MS s2()css2()(|)dRs s p s x s11/23/202263 贝叶斯估计之二：贝叶斯估计之二：绝
38、对值估计绝对值估计 绝对值（绝对值（absolute）估计，记为）估计，记为 ，简称为，简称为ABS估计，其代价函数为估计，其代价函数为 。将其代入条件风险。将其代入条件风险的表达式，有的表达式，有 将上式对 求导数，并令导数为0，得到：可见，ABS估计应该恰好取在后验概率密度函数曲线下面积的平分线上，即等于后验概率密度函数的中值。ABS s|css|(|)d()(|)d()(|)dssRss p s xsss p s xsss p s xs sABSABS(|)d(|)dssp s xsp s xs11/23/202264 贝叶斯估计之三：贝叶斯估计之三：均匀估计均匀估计 均匀估计，又称为最
39、大后验概率（均匀估计，又称为最大后验概率（maximum aposteriori probability）估计，简称为）估计，简称为MAP估计，记为估计，记为 。在采。在采用用MAP估计时，代价函数的曲线形式如图估计时，代价函数的曲线形式如图4.7（c）所示。）所示。将代价函数代入条件风险的表达式，有将代价函数代入条件风险的表达式，有MAP s/2/2/2/2(|)d(|)d1(|)dssssRp s xsp s xsp s xs 11/23/202265 均匀估计（续）均匀估计（续）11/23/202266 贝叶斯估计的应用形式贝叶斯估计的应用形式11/23/202267【例例4.8】【例例
40、4.8】11/23/202268 极大似然估计：极大似然估计：概念概念11/23/202269 采用极大似然估计的原因采用极大似然估计的原因11/23/202270【例例4.9】11/23/202271 极大似然估计：极大似然估计：矢量情况矢量情况 以上贝叶斯估计和极大似然估计均可以推广到观测以上贝叶斯估计和极大似然估计均可以推广到观测数据为矢量的情况。相应的估计式形式不变，只需数据为矢量的情况。相应的估计式形式不变，只需要将式中要将式中 替换为替换为 即可。即可。【例例4.104.10】x12MxxxX11/23/202272【解解】11/23/202273【解解】（续）（续）11/23/2
41、02274【例例4.114.11】11/23/2022754.8 估计量的性质估计量的性质 估计的评价与估计的评价与CRLB 评价一个估计的优劣，一般的指标包括无偏性、一无偏性、一致性和有效性致性和有效性，还包括估计的均值、方差均值、方差等。通常，直接推导估计量的方差有一定的困难，因此常采用一种间接的方式，即对任意无偏估计的方差寻找一个下界，然后把实际估计量的方差与该下界进行比较，从而判定其优劣。克拉美克拉美罗下界罗下界（Cramer-Rao lower bound，CRLB）是最常用的一个下界。11/23/202276 非随机参数估计的非随机参数估计的CRLB11/23/202277 基于基
42、于CRLB的结论的结论11/23/202278随机参数估计的随机参数估计的CRLBCRLB11/23/202279 MS估计的无偏性估计的无偏性11/23/2022804.9 参数的线性估计参数的线性估计 为什么引入线性估计为什么引入线性估计 在参数的非线性估计中（贝叶斯估计、极大似然估计），均需要了解待估计信号和噪声的概率密度函数的统计先验知识。然而在实际应用中，这样的统计先验知识是非常难于得到的。这样，就要用估计的概率密度函数来替代其理论值，由此而引入一定的参数估计误差。人们开始考虑寻找另外一类信号参数估计的方法。本节介绍的信号参数的线性估计方法，就是这样一类估计方法。11/23/2022
43、81 线性估计的特点线性估计的特点 不需要关于信号与噪声的概率密度函数的先验信息，不需要关于信号与噪声的概率密度函数的先验信息，并且可以降低对信号和噪声其他统计先验知识的要并且可以降低对信号和噪声其他统计先验知识的要求，仅要求知道信号和噪声的一阶和二阶统计量求，仅要求知道信号和噪声的一阶和二阶统计量（例如均值、方差、相关函数等）。（例如均值、方差、相关函数等）。另一方面，线性估计方法对估计算法的形式有所限另一方面，线性估计方法对估计算法的形式有所限制，要求采用观测值的线性函数，因此将这类方法制，要求采用观测值的线性函数，因此将这类方法称为线性估计方法。称为线性估计方法。估计的判据一般采用二次代
44、价函数，即使估计的均估计的判据一般采用二次代价函数，即使估计的均方误差函数达到最小。因此，这类线性估计方法实方误差函数达到最小。因此，这类线性估计方法实际上是际上是4.7节介绍的均方误差（节介绍的均方误差（MS）估计在限制估）估计在限制估计算法为线性函数时的特例。计算法为线性函数时的特例。11/23/202282 线性均方估计线性均方估计 采用观测数据线性组合的方式来估计观测数据中的采用观测数据线性组合的方式来估计观测数据中的信号参数，所采用的优化准则是使估计值与信号参信号参数，所采用的优化准则是使估计值与信号参数之间的均方误差最小。数之间的均方误差最小。11/23/202283 线性均方估计
45、（续）线性均方估计（续）11/23/202284 线性均方估计（续线性均方估计（续2）11/23/202285 线性均方估计的一些结论线性均方估计的一些结论11/23/202286【例例4.12】11/23/202287【例例4.12】（续）（续）【例例4.124.12】（续）（续）11/23/202288 递推估计（概念）递推估计（概念）批处理法：批处理法：依据所得到的全部（例如依据所得到的全部（例如 个）观测个）观测数据整批进行估计。缺点：是有新数据出现时，算数据整批进行估计。缺点：是有新数据出现时，算法需要重新进行整体计算。法需要重新进行整体计算。递推估计（递推估计（recursive
46、estimation）法）法：又称为：又称为续贯续贯估计估计或或递归估计递归估计方法。当前时刻的估计值仅由前一方法。当前时刻的估计值仅由前一时刻的估计值和当前时刻的观测值决定，而与过去时刻的估计值和当前时刻的观测值决定，而与过去的观测值无关。的观测值无关。N11/23/202289 样本均值的递推估计样本均值的递推估计11/23/202290 样本均值的递推估计（续）样本均值的递推估计（续）11/23/202291 样本方差的递推估计样本方差的递推估计11/23/202292 递推线性最小均方估计递推线性最小均方估计11/23/202293 递推线性最小均方估计（续）递推线性最小均方估计（续）
47、11/23/202294 递推线性最小均方估计（续递推线性最小均方估计（续2）11/23/202295 最小二乘估计最小二乘估计 最小二乘（最小二乘（least square）法是德国数学家高斯为测）法是德国数学家高斯为测定行星运动轨迹，于定行星运动轨迹，于1801年提出的一种数学优化方年提出的一种数学优化方法，其基本思路是通过使误差平方和最小而寻找数法，其基本思路是通过使误差平方和最小而寻找数据的最佳函数匹配。据的最佳函数匹配。这种方法除了需要观测噪声的统计知识以外，不需这种方法除了需要观测噪声的统计知识以外，不需要待估计量的任何统计先验知识，因而在许多领域要待估计量的任何统计先验知识，因而
48、在许多领域得到广泛的应用得到广泛的应用。11/23/202296 数量情况下的最小二乘估计数量情况下的最小二乘估计11/23/202297 矢量情况下的最小二乘估计矢量情况下的最小二乘估计11/23/202298 矢量情况下的最小二乘估计（续）矢量情况下的最小二乘估计（续）11/23/202299【例例4.13】11/23/2022100习题与思考题习题与思考题 4.1 试说明信号检测与信号参数估计的概念。试说明信号检测与信号参数估计的概念。4.2 试说明信号检测问题所定义的各个概率。试说明信号检测问题所定义的各个概率。4.3 试说明参数估计的无偏性、有效性和一致性的概念。试说明参数估计的无偏
49、性、有效性和一致性的概念。4.4 试说明信号检测的极大似然概率准则。试说明信号检测的极大似然概率准则。4.5 试说明信号检测的最小错误率准则的基本思路和方试说明信号检测的最小错误率准则的基本思路和方法。法。4.6 试说明信号检测的贝叶斯准则的基本思路和方法。试说明信号检测的贝叶斯准则的基本思路和方法。11/23/2022101 思考题（续）思考题（续）4.7 试说明信号检测的纽曼试说明信号检测的纽曼皮尔逊准则的基本思皮尔逊准则的基本思路和方法。路和方法。4.8 比较上述各种信号检测方法。比较上述各种信号检测方法。4.9 说明信号检测的多次观测与多元检测问题。说明信号检测的多次观测与多元检测问题。4.10 说明信号参数的贝叶斯估计方法。说明信号参数的贝叶斯估计方法。4.11 说明信号参数的极大似然估计方法。说明信号参数的极大似然估计方法。4.12 说明信号参数估计的克拉美说明信号参数估计的克拉美罗下界。罗下界。4.13 说明信号参数的线性均方估计方法。说明信号参数的线性均方估计方法。4.14 说明信号参数的最小二乘估计方法说明信号参数的最小二乘估计方法11/23/2022102The End of This Chapter11/23/2022103
