1、第2章贝叶斯决策理论第第2章贝叶斯决策理论章贝叶斯决策理论2.1分类器的描述方法分类器的描述方法2.2最大后验概率判决准则最大后验概率判决准则2.3最小风险贝叶斯判决准则最小风险贝叶斯判决准则2.4Neyman-Person判决准则判决准则2.5最小最大风险判决准则最小最大风险判决准则习题习题第2章贝叶斯决策理论2.1分类器的描述方法分类器的描述方法2.1.1基本假设基本假设给定模式空间S，由m个互不相交的模式类集合组成，即 ，。几个基本假设如下：12,m 12mS,(,1,2,)ijij i jm(1)假定类i的先验概率为P(i);(2)样本(或模式)x由特征向量来表示,同样记为x,假设为d
2、维,即x=(x1,x2,xd);第2章贝叶斯决策理论(3)特征向量x的取值范围构成特征空间,记为Rd;(4)特征向量x的类条件概率密度函数为p(x|i),表示当样本xi时,特征向量x的概率密度函数;(5)特征向量x的后验概率为P(i|x),表示在特征向量x出现的条件下,样本x来自类i的概率,即类i出现的概率。模式识别就是根据特征向量x的取值,依据某个判决准则把样本x划分到1，2,m中的一个。第2章贝叶斯决策理论2.1.2模式分类器的描述模式分类器的描述 模式分类器的描述方法有多种,这里仅介绍以下三种描述方法,它们之间是统一的。1.映射描述法映射描述法由于我们获取的有关观察对象的数据总量是有限的
3、,因此,可用一个d+1维向量表示,即12(,;)dx xx第2章贝叶斯决策理论其中:(x1,x2,xd)为特征向量,是特征空间Rd中的一个点;取值于集合1,2,m,表示模式的真实类别号,是未知的量,m为类别数。模式分类的实质在于实现特征空间Rd到类别号空间1,2,m的一个映射,即Rd1,2,m给定一个映射f,就给出了一种模式识别方法,不同的映射对应不同的分类方法,这就是模式识别问题的映射描述法。第2章贝叶斯决策理论2.划分描述法划分描述法 由于每个特征向量是Rd空间的一个点，且Rd1,2,m是一个多对一的映射，通过映射，本质上实现了对空间Rd的一种划分，即把Rd划分成个不相重叠的区域，每一个区
4、域对应一个类别。设区域Ri对应第i类i，则以下条件成立：(1)这一条表明了分类的确定性，一个样本只能属于某一类，不能同属两个或多个类别。,1,2,ijRRij i jm 第2章贝叶斯决策理论(2)若特征向量x=(x1,x2,xd)落在区域Ri内,即xRi,则将样本x判属第i类,记为xi;此时,Ri称为xi的决策区域。(3)。若 Ri为Rd的真子集,即,当样本落在此区域中时,样本对应的模式不是m类中的任何一种,可以把它称为拒绝类,为拒绝域,相应的判决为拒识。此时,引入一个新类m+1(拒绝类),相应的决策区域为。1mdiiRR1miiR1mdiiRR 1mdiiRR11mdmiiRRR第2章贝叶斯
5、决策理论当样本落在两类或多类的交界面上时,可以任取交界面所在的一类进行判决,也可以拒绝判决。从划分意义上看,模式识别就是对于一个具体分类问题,在确定了需分类的类别数m和所用的特征维数后,实现对Rd空间的划分,每一种划分对应一种识别方法。第2章贝叶斯决策理论如果不考虑拒识,此时,那么,正确分类包括m种情形,样本x来自类i,特征向量xRi(i=1,2,m);错误分类包括m(m1)种情形,样本x来自类i,但特征向量xRj(i=1,2,m;j=1,2,m;ji)。因此,平均正确概率Pc为1mdiiRR11(|)()()(|)immciiiiiRiiPPRPPpdxxx(2-1)第2章贝叶斯决策理论平均
6、错误概率Pe为Pe=1Pc (2-2)以下不再刻意区分样本(或模式)和特征向量,也就是说,xi意指x是样本(或模式);xRi或函数g(x)意指x是特征向量。第2章贝叶斯决策理论3.判别函数法判别函数法把分类问题对应为Rd空间上的多元函数,通常称为判别函数(或称判决函数)gi(x),i=1,2,m。对于任给未知类别的样本x,计算各类判别函数的值gi(x),i=1,2,m,将样本x判属有极大(或极小)函数值的那一类。到底应取极大值还是取极小值,需要根据具体问题的物理意义确定。不同的判别函数对应不同的模式分类方法。第2章贝叶斯决策理论模式分类实际上是将特征空间划分为不同的决策区域,相邻决策区域被决策
7、面所分割,这些决策面是特征空间中的超曲面,其决策面方程满足相邻两个决策域的判别函数相等,即gi(x)=gj(x)分类器可被看做是一个计算m类个判别函数并选取最大(或最小)判决值对应的类别的网络或机器。一个分类器的网络结构如图2-1所示。第2章贝叶斯决策理论图 2-1分类器的网络结构第2章贝叶斯决策理论2.2最大后验概率判决准则最大后验概率判决准则2.2.1判决准则判决准则在讨论具体的判决准则之前,让我们先来看一个分类问题。假设某工厂里所有的产品都只属于事先确定的两类,分别表示为1=“高质量”,2=“平均质量”。假设工厂对于产品储量有一个合理的长期记录,总结出来的结果如下：第2章贝叶斯决策理论总
8、的产品个数n=2 253 550;属于类1产品的个数 n1=901 420;属于类2产品的个数 n2=1 352 130;由此可以估计出两类产品出现的概率,即先验概率分别4.0/)(11nnP6.0/)(22nnP第2章贝叶斯决策理论情形情形1:假设在没有看到一个具体的产品时就要确定它到底属于哪一类。如果唯一能够得到的信息就是先验概率,那么一个很自然的“合理”选择是将这一产品归入类2。可以想象,这时可能造成40%的错误率。如果我们仅仅需要做一次判断,那么采用这种判决规则还是合理的。但是,如果要求我们进行多次判断,那么重复使用这种规则就不合适了,因为我们将一直得到相同的结果。第2章贝叶斯决策理论
9、情形情形2:假设可以对产品进行一些测量,获得了它的观测向量(或特征向量)x,这时意味着对该产品所属类别的不确定性减少了,即观测向量(或特征向量)能够提供一些类别信息。具体地,后验概率P(i|x)表示了x所代表的某个产品属于第i类的概率,那么现在“合理”的选择是:第2章贝叶斯决策理论如果P(1|x)P(2|x),则判决x属于1;如果P(1|x)P(2|x),则判决x属于2;如果P(1|x)=P(2|x),则判决x属于1或属于2。这种决策称为最大后验概率判决准则,也称为贝叶斯(Bayes)判决准则。假设已知P(i)和p(x|i)(i=1,2,m),最大后验概率判决准则就是把样本x归入后验概率最大的
10、类别中,也就是,)|(max)|(,2,1xximijPP2-3则xj。第2章贝叶斯决策理论由于已知P(i)和p(x|i),因此我们希望找到P(i|x)与它们之间的关系。这里以一维为例进行讨论。假设特征变量为X,那么有0(|)lim|(,)iiPxPXxx 由Bayes公式可知第2章贝叶斯决策理论(,)|()|(,)(,)iiiP XxxPPXxxP Xxx()(|)d()dxiixxxPp yyp yy12()(|)2()2iiPp yp y12()(|)()iiPp yp y=第2章贝叶斯决策理论其中,y1,y2(x,x+)。当趋近于0时,y1与y2趋近于x,从而有(|)()(|)()ii
11、ip xPPxp x(2-4)类似地,可得特征变量为多维时的结果(|)()(|)()iiipPPpxxx(2-5)第2章贝叶斯决策理论根据式(2-5),可以得到几种最大后验概率判决准则的等价形式:(1)若)()|(max)()|(,2,1iimijjPpPpxx，则xj;(2)若(|)()(),1,2,(|)()jiijpPLim ijpPxxx，则xj;(3)若()ln()ln(|)ln(|)ln,1,2,()ijijPLppim ijPxxx则xj。第2章贝叶斯决策理论其中,L(x)称为似然比,lnL(x)称为对数似然比。在最大后验概率判决准则中,xj的决策区域Rj为(|)()|,1,2,
12、(|)()jijijpPRim ijpPxxx (j=1,2,m)(2-6)第2章贝叶斯决策理论【例例 2.1】假设在某个局部地区的细胞识别中,第一类表示正常,第二类表示异常,两类的先验概率分别为:正常P(1)=0.9,P(2)=0.1。现有一个待识别样本细胞,其观察值为x,从类条件概率密度函数曲线p(x|i)上可查得:p(x|1)=0.2,p(x|2)=0.4,试判断该细胞是否正常。第2章贝叶斯决策理论解解计算p(x|1)P(1)=0.20.9=0.18p(x|2)P(2)=0.40.1=0.040.18根据 Bayes 判决准则将该细胞判为第一类,即为正常细胞。第2章贝叶斯决策理论2.2.
13、2 错误概率错误概率最大后验概率判决准则的一个优良性质就是使平均错误概率达到最小。因此,最大后验概率判决准则又称为最小错误概率判决准则。这里以二分类情况为例进行分析。此时,m=2,任意一个判决准则对应于特征空间Rd的一个划分:R=R1R2,R1R2=。错误分类为两种情况:真实类别为1时,而特征值x落入R2;真实类别为2时,而特征值x落入R1。因此,平均错误概率为第2章贝叶斯决策理论212111221122()(|)()(|)()()(|)()(|)RRP ePRPPRPPpdPpdxxxxxx1122()()()()PP ePP e(2-7)其中，211()(|)RP epdxx122()(|
14、)RP epdxx第2章贝叶斯决策理论考虑到21(|)Rpdxx=111(|)Rpdxx(2-8)式(2-7)可以化为111122()()(1(|)()(|)RRP ePpdPpdxxxx112211()()(|)()(|)RPPpPpdxxx(2-9)第2章贝叶斯决策理论若要使Pe达到最小,则x1的决策区域R1必须满足:12211|()(|)()(|)0RPpPpxxx即12121(|)()|(|)()pPRpPxxx(2-10)式(2-10)与最大后验概率判决准则中x1的决策区域是一致的,也就是说,最大后验概率判决准则使平均错误概率达到最小。第2章贝叶斯决策理论例如,假设模式x为一维的情况
15、,如图2-2所示,得到的两类分界点为t,将x轴分为两个区域R1和R2,其中,纹理区域的面积表示平均错误概率,即ttdxxpPdxxpPeP)|()()|()()(2211图中，11()(|)tP ep xdx，22()(|)tP ep xdx第2章贝叶斯决策理论图2-2 平均错误概率计算示意图第2章贝叶斯决策理论2.3最小风险贝叶斯判决准则最小风险贝叶斯判决准则最大后验概率判决准则使分类的平均错误概率最小化。但是,对于某些具体的分类问题,这个准则并不是最好的,这是因为它没有考虑到不同的错误判断带来的后果是不相同的。考虑到各种错误分类造成的损失不同,人们提出了最小风险贝叶斯判决准则。它的基本思路
16、是给每一种决策规定一个损失值(或代价),将其作为因错误决策而导致的损失的度量。第2章贝叶斯决策理论设样本x来自类i,可能被判为1,2,m 中的任何一种,若允许拒绝判决,可将拒绝类看成是独立的一类,记为第m+1类,即m+1。为了表述方便,引入如下符号:(1)决策j:将样本x的类别判为第j类。不同的决策对应于特征空间的不同决策区域Rj,j1,2,m。若xRj,则判决xj(j=1,2,m)。这里未考虑拒识情况。第2章贝叶斯决策理论(2)损失函数(j,i):对真实类别为第i类的样本采取决策j所带来的损失。在实际应用时,可以将(j,i)简写为ji,写成矩阵形式mmmmmm212222111211称之为损
17、失矩阵。第2章贝叶斯决策理论对于给定类i的样本,正确判断时的代价函数应该是最小的,即0),(min),(ijjii(i=1,2,m)(2-11)当样本x的真实类别未知时,决策j的条件风险是对 x 为所有可能的真实类别条件下将样本判为第j类的代价求平均,即1(|)(,)(|)mjjiiiRP xx(2-12)第2章贝叶斯决策理论条件风险只是反映对某一个样本x做出决策所带来的风险。由于x是随机向量,对于x的不同取值,决策j的条件风险的大小不同,因此,究竟采取哪一种决策,与x的取值有关。决策可以看成是随机向量x的函数,记为(x),它本身也是一个随机变量,它的取值为1,2,m。不同的决策值对应于特征空
18、间不同的决策区域。由此可以定义期望风险。第2章贝叶斯决策理论条件风险R(j|x)(j=1,2,m)在特征空间中的平均值称为期望风险,记为R,即()|)()dRRRpdxxxx 1(|)()jmjRjRpdxxx(2-13)其中,p(x)为样本矢量在Rd空间中的概率密度函数,与类别号无关。期望风险的另一种表示方法为第2章贝叶斯决策理论与最小错误概率判决规则类似,若对每一个x都选择最小的条件风险,就能保证总体风险R最小,因此,得到最小风险贝叶斯判决准则如下:可见,期望风险反映对整个特征空间上所有x采取相应决策所带来的平均风险。,1(,)(|)()(|)()jmjijijijiijRj ij ijR
19、PPPRpdxxx(2-14)第2章贝叶斯决策理论如果)|(min)|(,2,1xximikRR(2-15)则判决xk。损失函数根据实际问题和经验确定。若将损失函数取为mjijijiij,.,2,1,10),(2-16)则称这种损失函数为0-1损失函数。此时,决策j的条件风险为第2章贝叶斯决策理论1(|)(,)(|)(|)1(|)mjjiiijiijRPPP xxxx(2-17)由(2-17)可以看出,R(j|x)最小实际上对应于P(j|x)最大,因此当取0-1损失函数时,最小风险贝叶斯判决准则等价于最大后验概率判决准则。这说明最大后验概率判决准则是最小风险贝叶斯判决准则的特例。第2章贝叶斯决
20、策理论对于两类分类问题,条件风险为1111122(|)(,)(|)(,)(|)RPP xxx2211222(|)(,)(|)(,)(|)RPP xxx(2-18)(2-19)按最小风险的 Bayes 准则有21111(,)(,)(|)P x12222(,)(,)(|)P x21x(2-20)第2章贝叶斯决策理论根据 Bayes 公式有)()|(),(),(111112pP x)()|(),(),(222221pP x21x(2-21)12(|)()(|)pLpxxx),(),(),(),()()(1112222112PP21x(2-22)第2章贝叶斯决策理论由此可见,和最大后验概率判决准则相比
21、,形式相似,只是阈值发生了变化,它不仅与先验概率的比值有关,而且和代价函数差的比值有关。这里的代价函数差值是错误分类时和正确分类时的代价函数之差。【例例 2.2】在例2.1的基础上,增加条件11=0,12=6,21=1,22=0,请判断该细胞是否正常。解解若按最小风险的Bayes判决进行判断,可以求出:第2章贝叶斯决策理论1(|)0.818Px2(|)0.182Px2111(|)(|)1.092iiiRPxx22211(|)(|)0.818(|)iiiRPRxxx所以,应将细胞样本判为第二类,即为异常。第2章贝叶斯决策理论2.4Neyman-Person判决准则判决准则最大后验概率判决准则是使
22、分类的平均错误概率最小,最小风险贝叶斯判决准则是使分类的平均风险最小。可是,在实际遇到的模式识别问题中有可能出现这样的问题:对于两类情形,不考虑总体的情况,而只关注某一类的错误概率,要求在其中一类错误概率小于给定阈值的条件下,使另一类错误概率尽可能小。第2章贝叶斯决策理论例如,在雷达目标检测中,人们可能不仅对目标出现的先验概率未知,而且对错误判断的代价也是难以估计的,甚至是难以定义的。雷达目标检测中存在两种错误:一种是虚警,即没有目标判为有目标;另一种是漏警,即有目标判为没有目标。适当的方法就是观察者确定一个允许的虚警概率,使漏警概率尽可能得小。第2章贝叶斯决策理论Neyman-Person判
23、决准则解决的就是上述问题,它只适用于两类情形。在两类情况下,有两种错误概率:第一类错误概率是,样本真实类别为1,但落到了2的判决区域R2内,从而被判为2的概率,记为E1;第二类错误概率是,样本真实类别为2,但落到了1的判决区域R1内,从而被判为1的概率,记为E2。平均错误概率为 Pe=P(1)E1+P(2)E2 (2-23)第2章贝叶斯决策理论假设限定E2不能超过某个阈值,即E2 (2-24)在这个前提下,求判决区域使E1达到最小值。由于满足式(2-24)的E2有多个,在不等式条件下,难以求解E1的最小值,因此,可以选择0,将式(2-24)条件下的求解问题转化为E2=0 (2-25)条件下的E
24、1最小值求解问题。这是一个典型的条件极值问题,我们采用Lagrange乘数法来求解,其中,约束条件为E20=0。第2章贝叶斯决策理论构造目标函数r=E1+(E20)其中,为Lagrange乘子。由1与2的决策区域分别为R1与R2,可得211(|)REpdxx122 (|)REpdxx(2-26)(2-27)第2章贝叶斯决策理论从而,目标函数可改写为2111120120(|)(|)(1-(|)(|)RRRRrpdpdpdpdxxxxxxxx1021(1)(|)(|)Rppdxxx(2-28)为了使r达到最小,则要求使被积函数p(x|2)p(x|1)小于0的点全部落入R1中,且R1中的点使被积函数
25、p(x|2)p(x|1)小于0,所以第2章贝叶斯决策理论R1=x|p(x|2)p(x|1)0因此,可得Neyman-Person准则如下:若p(x|2)p(x|1),则x2 (2-30)写成似然比形式为12(|)(|)ppxx21x(2-31)第2章贝叶斯决策理论上式左边为似然比函数,右边为阈值,形式和两类时的最大后验概率判决准则相似。不同之处在于阈值是Lagrange乘子,是一个不确定的量,需要根据约束条件求解,即1220 (|)REpdxx(2-32)其中112(|)|()(|)pRLpxxxx(2-33)第2章贝叶斯决策理论由于的作用主要是影响积分域,因此,根据上式求的解析式很不容易,下
26、面介绍一种实用的计算求解方法。根据式(2-33),越大,R1越小,从而E2也越小,即E2是的单调减函数。给定一个值,可求出一个E2值,在计算的值足够多的情况下,可构成一个二维表备查。给定一个0后,可查表得到相应的值,这种方法得到的是计算解,其精度取决于二维表的制作精度。第2章贝叶斯决策理论【例例 2.3】设两类问题中,二维样本均为正态分布,其均值和协方差矩阵分别为:1=(1,0)T,2=(1,0)T,1=2=I,取0=0.046,试求Neyman-Person准则的阈值。解由给定的条件可知两类的密度函数分别为2)1(exp21)|(22211xxpx2)1(exp21)|(22212xxpx第
27、2章贝叶斯决策理论由上面两式可以算得1212exp)|()|(xppxx上式两边求对数可以得到判决界面ln211x对于给定的0,可由下式计算,即第2章贝叶斯决策理论1ln2121ln21121ln21222121ln21212221ln21222exp2112)1(exp212exp212)1(exp212)1(exp21)|(dyyxydxxdxxdxxdxdxxxdpExx第2章贝叶斯决策理论显然,y服从标准正态分布,通过查数学用表得到E2和之间的对应关系如下:2E4211/21/40.0460.0890.1590.2580.378由设定的0=0.046,查上表可得=4,故类分布及判决界面
28、如图2-3所示。693.0ln211x。第2章贝叶斯决策理论图 2-3 例2.3图示第2章贝叶斯决策理论2.5最小最大风险判决准则最小最大风险判决准则前面讨论的最小风险贝叶斯判决,其结果受到以下三种因素的影响:类条件概率密度函数p(x|i)、先验概率P(i)和代价函数(j,i)。在实际应用中经常遇到的是各类先验概率不能精确知道或在分析过程中发生变动的情况。这就使得判决结果不能达到最佳,实际分类器的平均损失要变大,甚至变得很大。在这种情况下要采用最小最大风险判决准则,它的基本思想是在最差的情况下争取最好的结果。第2章贝叶斯决策理论由前面的讨论可知,期望风险(平均风险)为12111122 2112
29、22 (,)(|)()(,)(|)()(,)(|)()(,)(|)()RRRPpPpdPpPpd xxxxxxxxxx因为两类情况下,先验概率满足:1)()(21PP所以第2章贝叶斯决策理论1211111222 21112222 (,)()(|)(,)()(|)(,)()(|)(,)()(|)RRRPpPpdPpPpd xxxxxx112211111222 21112222 (,)()(|)(,)()(|)(,)()(|)(,)()(|)RRRRPpdPpdPpdPpd xxxxxxxx22111111211112222222 (,)()(1(|)(,)()(|)(,)()(|)(,)()(1
30、(|)RRRRPpdPpdPpdPpd xxxxxxxx第2章贝叶斯决策理论21111222211111 122222 (,)()(,)()(,)(,)()(|)(,)(,)()(|)RRPPPpdPpd xxxx21111221211111 122212 2212222 (,)(,)()(,)(,)()(|)(,)(,)()(|)(,)(,)(,)(|)RRRPPpdPpdpd xxxxxx第2章贝叶斯决策理论一旦R1、R2确定,则R就是先验概率P(1)的线性函数:R=kP(1)+b (2-34)其中2112221111 (,)(,)(,)(,)(|)Rkpd xx112222 (,)(,)
31、(|)Rpd xx12212222(,)(,)(,)(|)Rbpd xx(2-35)(2-36)第2章贝叶斯决策理论在已知类概率密度函数、代价函数和某个先验概率P(1)时,按最小风险贝叶斯判决准则,可以确定R1和R2:1|()TRLVxx2|()TRLVxx(2-38)(2-37)其中12(|)()(|)pLpxxx(2-39),(),(),(),()()(11112222111PPVT(2-40)第2章贝叶斯决策理论对应不同的先验概率P(1),可以得到相应的最小Bayes风险,当P(1)遍取0,1时,就得到P(1)R曲线,如图2-4(a)所示的曲线。设P(1)的设计值为P(1),在式(2-3
32、7)式(2-40)中,用P(1)代替P(1),确定R1和R2,此时,实际的平均风险为直线R=kP(1)+b,如图2-4(a)所示的直线。在最小Bayes风险曲线中,P(1)=P(1)对应的风险为R。第2章贝叶斯决策理论当实际的先验概率值和设计值相符时,实际的平均风险值也和最小Bayes风险相符,即R=R;而当实际的先验概率值和设计值不相符时,分类结果的实际风险值R就会大于最小Bayes风险。因此,实际的平均风险直线R=kP(1)+b与最小Bayes风险曲线P(1)R 相切,切点为(P(1),R),如图2-4(a)所示。第2章贝叶斯决策理论图 2-4最小Bayes风险曲线(a)一般情况下的风险曲
33、线;(b)最大点为极值点的风险曲线第2章贝叶斯决策理论平均风险的偏离量和先验概率的偏离量成线性关系,即R=kP(1)(2-41)如何选择先验概率使最大可能的平均风险最小呢？由式(2-34)可知kPR)(1(2-42)第2章贝叶斯决策理论如果k=0,则R与P(1)无关,且恒等于b,这时最大可能的平均风险达到最小值。但k=0 意味着此时的平均风险直线与最小Bayes风险曲线相切于B点,平均风险R达到最小Bayes风险曲线的最大值,如图2-4(b)所示,B点对应的先验概率满足使最大可能的平均风险最小的要求。最小最大风险判决准则就是采用最小Bayes风险曲线中最大值对应的先验概率P0来设计分类器,也就
34、是,在式(2-37)式(2-40)中,取P(1)=P0,确定R1和R2。第2章贝叶斯决策理论通过以上分析我们知道,在得到最小Bayes风险曲线后,最小最大风险判决准则确定的风险为最小Bayes风险曲线的最大值,此时先验概率的误差不会使分类器的性能指标下降;在最大点以外的点上设计的最小风险分类器,对先验概率的偏差呈线性变化,变化的最大值不会比最小Bayes风险曲线的最大值小。因此,模式识别中的最小最大风险判决准则的实质是使因先验概率测量不准而导致的最大可能实际风险值最小化。第2章贝叶斯决策理论最小最大风险判决准则是一种保守的判决方法,有赖于最小Bayes风险曲线的获得,而在实际应用中这是非常困难
35、的。若已经得到了最小Bayes风险曲线的解析式,求最小Bayes风险曲线关于P(1)的偏导,并置为0,即可求得B点对应的先验概率P0。式(2-37)式(2-40)给出的决策区域R1与R2和先验概率P(1)有关,所以,两类错误概率与21 (|)Rpdxx12 (|)Rpdxx第2章贝叶斯决策理论也与P(1)有关。最小Bayes风险曲线上B点对应的先验概率P(1)=P0使式(2-34)中的k=0,从而,通过令k=0的方法求解P0,即2112221111 (,)(,)(,)(,)(|)Rkpd xx112222 (,)(,)(|)0Rpd xx=0第2章贝叶斯决策理论若上式有唯一解,则该极值点即为最
36、大值点;若上式有多个解,则多个极大点中的最大者为最大点;若无解,则最大点出现在左端点或右端点上,计算两端点的 R 值,大者即为最大值。第2章贝叶斯决策理论习习 题题2-1 分别写出下列条件下的最大后验概率判决准则:(1)两类情况,且P(1)=P(2);(2)两类情况,且p(x|1)=p(x|2)。2-2二维正态分布1=(1,0)T,2=(1,0)T,P(1)=P(2),(1)1=2=I;(2)1212111，1212112第2章贝叶斯决策理论分别写出上述两种情况下最大后验概率判决准则的负对数似然比形式。2-3已知工厂里所有的产品都只属于我们事先分成的两类,分别表示为1=高质量,2=平均质量。假
37、设工厂里对于产品储量有一个合理的长期记录,总结出来的结果如下:总的软木塞的个数n=2 253 550;属于第一类1的软木塞的个数n1=901 420;属于第二类2的软木塞的个数n2=1 352 130。对于缺陷总数分别为N=45,N=100,可得:第2章贝叶斯决策理论24/18)|45(1NP;24/3)|100(1NP23/2)|45(2NP;23/20)|100(2NP试用最大后验概率判决准则分别判断这两个软木塞的类别。2-4证明最大后验概率判决准则是最小风险贝叶斯判决准则的特例。第2章贝叶斯决策理论2-5在图像识别中,假定有灌木丛和坦克两种类型,它们的先验概率分别是0.7和0.3,损失函
38、数如下表,其中1和2分别代表灌木丛和坦克,判决1=1,2=2,3表示拒绝判决,现在做了四次实验,获得四个样本的类条件概率密度如下:p(x|1):0.1,0.15,0.3,0.6p(x|2):0.8,0.7,0.55,0.3第2章贝叶斯决策理论(1)试用最大后验概率判决准则判断四个样本各属于哪一个类型;(2)假定只考虑前两种判决,试用最小风险贝叶斯判决准则判断四个样本各属于哪一个类型;(3)把拒绝判决考虑在内,重新考核四次实验的结果。110.5241.01.51.5第2章贝叶斯决策理论2-6在两类一维的问题中,两类的概率密度函数分别是高斯分布N(0,2)和N(1,2)。证明:使平均风险最小的阈值
39、x0为)()(ln2/111222120PPx其中，11=22=0。第2章贝叶斯决策理论2-7在两类等概率一维问题中，每一类样本符合瑞利概率密度函数，即000)2exp()|(222xxxxxpiii取0-1损失函数,试求最小风险贝叶斯判别函数。第2章贝叶斯决策理论2-8证明0-1损失函数的最小最大风险判决准则的判决区域满足:21)|()|(21RRdxxpdxxp2-9假设有一维正态分布p(x|i)N(i,2i),i=1,2,但先验概率完全未知,利用最小最大风险判决准则在0-1风险下找到最优决策点x*,以i,i的形式表示。2-10考虑用最小最大风险判决准则解决两类分类问题,假设p(x|1)N(5,1),且p(x|2)N(6,1),在0-1风险下找到最优决策点x*。2-11写出两类情况下最小风险贝叶斯判决准则的判别函数和决策面方程。
