1、2.3.1 最小错误率的Bayes决策 利用Bayes公式，可以在模式分类中尽量减少分类的错误；称之为最小错误率的Bayes决策 考虑对正常人和病人的识别问题。假设每个要识别的人有d个基本特性的特征，如身高、体重、温度、脉搏等，从而组成一个d维空间的向量，识别的目的就是要将分类成正常人或病人。如果用 表示人的健康状态，则 表示健康状态 表示患病状态 对人个体的识别就是 把归类于 、这两种可能状态。类别状态是一个随机变量，但其概率分布是已知的，则有健康状态概率 和患病状态概率 是已知的。即 、是先验概率。在两类问题中，显然存在：+=1 (2.3-1)1 12x12)(1P)(2P)(1P)(2P
2、)(2P)(1P 为简单起见，只用一个特征即温度进行分类，有d=1。在自然条件下，观察到的类别条件概率分布为已知，并且有:(分布如图2,1所示)是健康状态下观察 的类条件概率密度 是患病状态下观察 的类条件概率密度 1.由于已知：状态先验概率 类条件概率密度 2.利用Bayes公式，则有状态的后验概率：(2.3-2)|(1xpx)|(2xpx2,1),(iPi2,1),|(ixpi21)()|()()|()(iiiPxpiiiPxpP图2.1 类条件概率密度)|(1xp)|(2xpx图2.2 后验概率)|(1xP)|(2xPx0.20.40.60.8 13.最小错误率的 Bayes决策规则如果
3、 ，则把 归类于 ；反亦反之。则决策规则可简写为：(2.3-3)|()|(21xPxP1xijixxPxPj则),|(max)|(2,1 4.最小错误率分析（1）错误率 错误率是指平均错误率，以 表示,有定义：=(2.3-4)其中，表示在整个 d维空间上积分（2）条件错误概率 在 条件下的错误概率为 。根据Bayes决策规则：则决策结果；则决策结果 显然，在作出决策 时，的条件错误概率为；在作出决策 时，的条件错误概率为 从而有条件错误概率：=)(ePdxxePeP),()(dxxpxeP)()|(dxx)|(xeP)|()|(21xPxP1x)|()|(12xPxP2x1x)|(2xP2x)
4、|(1xP)|(xeP)|(xeP)|(1xP)|()|(12xPxP当)|(2xP)|()|(21xPxP当（3）Bayes决策的本质 实际上是对每个 都使取小者，从而积分：(2.3-6)也必然达到最小。也即 达到最小 这说明最小错误率Bayes决策规则确实使错误率最小。这种方法可以推广到多类的分类决策之中。)|(xePdxxpxeP)()|()(eP2.3.2 最小风险的Bayes决策 在决策中有时需要考虑一个比错误率更广泛的概念风险。对事物的分类，第一考虑的是尽可能正确的分类。第二要考虑错误判断分类带来的后果。例如，把健康人归类为病人，或把病人归类为健康人。这会带来精神压力或延误病情，即
5、会引起损失。最小风险的Bayes决策是考虑各种错误造成损失不同而提出的决策。在最小风险决策中，需要考虑损失函数。1.基本概念（1）观察对象 是 维随机向量：(2.3-7)其中：为一维随机变量（2）状态空间 状态空间由C个自然状态（C类）组成：=(2.3-8)(3)决策空间A 决策空间A由 个决策 组成 (2.3-9)按一般理解，C个状态，有C个决策即够了，但实际上，对于C个类别有C种不同决策之外，还允许有其他决策，例如“拒绝”决策，则这时就有 =C+1。xxdxTdxxx,21dxxx,21c,321,2,1,iai,21aaaA（4）损失函数 损失函数 表示为：（2.3-10）表示为状态为
6、，而所采用的决策为 时所带来的损失。根据状态，损失和决策则可得一般决策表 表2.3-1 一般决策表cjiaji,2,1;,2,1);,(ji 2.最小风险Bayes决策（1）已知先验概率 以及类条件概率密度（2）求后验概率 从ayes公式有：其中 (2.3-11）,2,1),|(cjxpj,2,1),(cjPj)()()|()(|xpPxpxPjjjcPxpxpiii1)()|()(（3）条件期望损失（条件风险）由于考虑错判造成的损失，故不能以后验概率大小作决策，而必须考虑决策是否使损失最小。对于给定的观察对象 ，如果采用决策 ，从决策表可知，损失函数 可以在C个 中任取一个值，其相应概率为
7、，从而有在决策 情况下的条件期望损失为：=E =(2.3-12)条件期望损失 也称条件风险。条件期望损失反映了对 的某一取值采用决策 所带来的风险。xiacjaji,2,1);,()(|xPjia)(|xaRi)(|xaRi),(jiacjjjixPa1)|(),(,2,1i )(|xaRixia（4）期望风险 由于 是随机向量，对于 的不同观察值，采取决策 时，其条件风险的大小是不同的。所以，究竟采取哪种决策将随 的值而定。这样，决策 可以看成随机向量 的函数，并记为 ，它也是一个随机变量。期望风险 可定义为：（2.3-13）其中：是 d维特征空间的体积元，积分在整个特征空间进行。期望风险及
8、反映对整个特征向量空间所有 的取值采取相应决策 所带来的平均风险。在Bayes决策中，应要求采取一系列决策行动 使期望风险R最小。xxiaxxa)(xaRdxxpxxaRR)()|()(dxx)(xa)(xa（5）最小风险Bayes决策规则 如果，在采取每一个决策或行动时，都使其条件风险最小，则对所有的 作出决策时，其期望风险也必定最小最小风险Bayes决策。最小风险Bayes决策规则表示为：如果 则 （2.3-14）在求实际问题决策时，最小风险Bayes决策步骤如下：)已知 在给出待识别的 的情况下，以Bayes公式求取后验概率 （2.3-15）x)|()|(min,2,1xaRxaRiki
9、aakcjxpPjj,2,1),|(),(xcicPxpPxpxPiiijjj,1,)()|()()|()(1|）利用后验概率及决策表，按条件期望损失 的式子：=（2.3-16）求取条件风险。）对求出的 个条件风险值 ，进行比较，找出使条件风险最小的决策 ，即 （2.3-17）则 就是最小风险Bayes决策。)|(xaRi)|(xaRicjjjixPa1)|(),(,2,1i)|(xaRi,2,1ika)|()|(min,2,1xaRxaRikika2.3.3最小风险Bayes决策的例子 例：假设在某个地区人们的健康状态 和患病状态 的先验概率分别为：健康状态：=0.9 患病状态：=0.1 现
10、有一个待识别的个体，其观察值为 ，从类条件概率密度分布曲线上查得：试按最小风险Bayes决策进行分类。12)(1P)(2Px,2.0)|(1xp4.0)|(2xp解：（1）已知条件有 =0.9,=0.1 决策表为：有：=0；=6；=1；=0 )(1P)(2P,2.0)|(1xp4.0)|(2xp11122122（2）用Bayes公式，分别求 、的后验概率122)()|()()|()(111|1jjjPxpPxpxP818.01.04.09.02.09.02.0182.0)|(1)|(12xPxP（3）根据 求出条件风险 =60.182=1.092 =10.818=0.818（4）最小风险决策
11、由于 ，则说明决策 的风险小于决策 ，故取 为决策。在决策表中可以看出，当取 为决策时，损失最小的是 =0，显然，对应的状态是 ，故而最后识别的结果为：个体属于患病状态 类。)|(1xaR)|(1xaR)|(2)|(21211xPxPjjj)|(2xaR)|(2)|(12121xPxPjjj)|(1xaR)|(2xaR2a2a1a2a22222.3.4 最小错误率与最小风险Bayes决策的关系 1.0-1 损失函数 定义：如果损失函数取下面形式 =i,j=1,，c （2.3-18）则称其为0-1 损失函数。在0-1 损失函数中，假定对C类只有C个决策，并且，对于正确决策（i=j时）没有损失，而
12、对任何错误决策其损失为1。),(jiaji,0ji,12采用0-1 损失函数时的条件风险 条件风险这时为：=（2.3-19）很明显，根据前面的条件错误概率的含义，则 是对x采用决策i的条件错误概率。cjjjiixpaxaR1)|(),()|(cijjjxp1)|(cijjjxp1)|(3用0-1 损失函数时的最小风险Bayes决策 =（2.3-20）同理有：（2.3-21）对于最小风险Bayes决策：（2.3-22）)|(xaRicijjjxp1)|()|(xaRkckjjjxp1)|()|()|(min,2,1xaRxaRiki 则可写成：=（2.3-23）上式中右边给出的是最小错误率，则决策可根据上式确定。从而可知：最小错误率的Bayes决策是在0-1 损失函数下的最小风险的Bayes决策。最小风险Bayes决策要求：a.有符合实际情况的先验概率 b.有符合实际情况的类条件概率密度 c.有合适的损失函数 ckjjjxp1)|(min,2,1icijjjxp1)|(cjjP,1),(cjjxP,1),|(cjiiaj,1,1),(
