1、第二章第二章 贝叶斯决策理论贝叶斯决策理论 1第二章第二章 贝叶斯决策理论贝叶斯决策理论 2.1 2.1 基于最小错误率的贝叶斯判别法基于最小错误率的贝叶斯判别法2.2 2.2 基于贝叶斯公式的几种判别规则基于贝叶斯公式的几种判别规则2.3 2.3 正态分布模式的统计决策正态分布模式的统计决策2.4 2.4 概率密度函数的估计概率密度函数的估计2.5 2.5 贝叶斯分类器的错误概率贝叶斯分类器的错误概率 第二章第二章 贝叶斯决策理论贝叶斯决策理论 2第二章第二章 贝叶斯决策理论贝叶斯决策理论 模式识别的分类问题就是根据待识客体的特征模式识别的分类问题就是根据待识客体的特征向量值及其它约束条件将
2、其分到各个类别中去。向量值及其它约束条件将其分到各个类别中去。贝叶斯决策理论是处理模式分类问题的基本理贝叶斯决策理论是处理模式分类问题的基本理论之一。论之一。贝叶斯分类器在统计模式识别中被称为最优分贝叶斯分类器在统计模式识别中被称为最优分类器。类器。贝叶斯分类器必须满足下列两个先决条件：贝叶斯分类器必须满足下列两个先决条件：1 1，要决策分类的类别数是一定的；，要决策分类的类别数是一定的；2 2，各类别总体的概率分布是已知的。，各类别总体的概率分布是已知的。第二章第二章 贝叶斯决策理论贝叶斯决策理论 32.12.1 基于最小错误率的贝叶斯判别法基于最小错误率的贝叶斯判别法v Bayes分类器分
3、类器 最优分类器、最佳分类器一、两类问题一、两类问题例如：细胞识别问题 1正常细胞，2异常细胞 某地区，经大量统计获先验概率P(1),P(2)若取该地区某人细胞 x 属何种细胞，只能由 先验概率决定。这种分类器决策无意义221121),()(),()(xPPxPP第二章第二章 贝叶斯决策理论贝叶斯决策理论 4v对x再观察：有细胞光密度特征,其类条件概率密度:P(x/)=1,2,。如图所示，（也称为后验概率）21jjjiiiPxPPxPxP)()()()()(通过对细胞的再观察，就可以把先验概率转化为后验概率，利用后验概率可对未知细胞x进行识别。利用贝叶斯公式利用贝叶斯公式：)(1xP)(2xP
4、x条件概率密度分布)(ixP221121),()(),()(xxPxPxxPxP则若则若)(1xP)(2xPx2.04.06.08.00.1后验概率分布)(xPi第二章第二章 贝叶斯决策理论贝叶斯决策理论 5 设N个样本分为两类1，2。每个样本抽出n个特征，x=（x1，x2，x3，xn）T若已知先验概率P(1),P(2)，类条件概率密度P(x/1)，P(x/2)。则可得贝叶斯判别函数四种形式：)()()(21xgxgxg)(,)()(ln)()(ln)()4()(,)()()()()()3()(),()()()()()2()(),()()()1(12211221221121取对数方法似然比形式
5、类条件概率密度后验概率PPxPxPxgPPxPxPxgPxPPxPxgxPxPxg1、判别函数：、判别函数：第二章第二章 贝叶斯决策理论贝叶斯决策理论 62 2、决策规则：、决策规则：2112212112212122112121)()(ln)()(ln)()4()()()()()3()()()()()2()()()1(xPPxPxPxgxPPxPxPxPxPPxPxxPxP第二章第二章 贝叶斯决策理论贝叶斯决策理论 7 3 3、决策面方程、决策面方程：x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为曲面，x大于三维时决策面为超曲面。v 例例：某地区细胞识别；P(1)=0.
6、9，P(2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到：v 解解：该细胞属于正常细胞还是异常细胞，先计算后验概率：P(x/1)=0.2，P(x/2)=0.4用。所以先验概率起很大作因为属正常细胞。因为 ),()(),()(.)()(.)()()()()(211211221jjj111PPxxPxP1820 xP1xP8180104090209020PxPPxPxP0 xg)(第二章第二章 贝叶斯决策理论贝叶斯决策理论 8g(x)nxxxX.21特征向量判别计算决策21x阈值单元 4 4、分类器设计：、分类器设计：第二章第二章 贝叶斯决策理论贝叶斯决策理论 9 二、多类情况：二、多类
7、情况：=(1,2,m)，x=(x1,x2,xn)1.1.判别函数：判别函数：M类有M个判别函数g1(x),g2(x),gm(x).每个判别函数有上面的四种形式。2.2.决策规则：决策规则：),.,2,1(,)()(max)()()(1MixPxPPxPxgijjMjiiiiijMjiiixPxPPxPxg)(ln)(lnmax)(ln)(ln)(1另一种形式：3 3、决策面方程：、决策面方程：0)()(),()(xgxgxgxgjiji即第二章第二章 贝叶斯决策理论贝叶斯决策理论 10g1(x)Max g(x)nxxxX.21特征向量判别计算决策ixg2(x)gn(x)最大值选择器.4 4、分
8、类器设计：、分类器设计：贝叶斯公式可以有几种形式的判别法则，针对具体问题可以选取合适的形式。不管选取何种形式，其基本思想均是要求判别归属时依概率最大作出决策，这样的结果就是分类的错误率最小。贝叶斯分类器遵循最小错误贝斯决策规则贝叶斯分类器遵循最小错误贝斯决策规则 第二章第二章 贝叶斯决策理论贝叶斯决策理论 11 很明显，各类别在多维特征空间中为决策面或界面所分割。这些决策面是特征空间中的超曲面。相邻的两个类别在决策面上的判别函数值是相等的。如果i和j是相邻的，则分割它们的决策面就应为 gi(x)=gj(x)或 gi(x)-gj(x)=0 对于两类问题，决策面方程：P(x|1)P(1)-P(x|
9、2)P(2)=0 第二章第二章 贝叶斯决策理论贝叶斯决策理论 122.2 基于贝叶斯公式的几种判别规则一、基于最小风险的贝叶斯决策 在某些情况下，引入风险的概念，以求风险风险最小的决策最小的决策则更为合理。例如对癌细胞的识别，要判断某人是正常(1)还是患者(2),在判断中可能出现以下情况：第一类，判对第一类，判对(正常正常正常正常)1111 ；第二类，判错第二类，判错(正常正常异常异常)2121 ；第三类，判对第三类，判对(异常异常异常异常)22 22 ；第四类，判错第四类，判错(异常异常正常正常)1212 。风险的概念比错误率似乎更恰当。因为识别的正确与否，直接关系到病人的身体甚至生命。风险
10、的概念常与损失相联系，损失则用损失函数表示。第二章第二章 贝叶斯决策理论贝叶斯决策理论 131.1.损失函数：损失函数：损失函数公式：mjaiwji,2,1,2,1,ji意义意义：表示当处于状态 时采取决策为 所带来的损失。损失函数ii=(i/i)表示模式X X本来属于i类而错判为i所受损失。因为这是正确判决，故损失最小。损失函数ij=(i/j)表示模式X X本来属于j类错判为i所受损失。因为这是错误判决，故损失最大。第二章第二章 贝叶斯决策理论贝叶斯决策理论 14 状态 损失决策1 2 j m 1 2 i 11,表示：表示：在决策论中，常以决策表决策表表示各种 情况下的决策损失。12,1,i
11、1,21,22,2,i2,j,1j,2ji,j,m,1m,2mi,m,第二章第二章 贝叶斯决策理论贝叶斯决策理论 152 2.风险风险R R（期望损失）：对未知对未知x x采取一个判决行动采取一个判决行动(x x)所付出的代价所付出的代价（损耗）（损耗）行动i：表示把模式x判决为i类的一次动作。条件风险（也叫条件期望损失）：将模式x判属某类所造成的损失的条件数学期望。已知先验概率P(j)及类条件概率密度P(x|j)，j=1,2,m。根据贝叶斯公式，后验概率为 xPPxPxPjjj|)|(iimiPxPxP|1其中 当引入“损失”的概念，考虑错判所造成的损失时，就不能只根据后验概率的大小来作决策
12、，而必须考虑所采取的决策是否使损失最小。第二章第二章 贝叶斯决策理论贝叶斯决策理论 16 对于给定的x，如果采取决策 ，从决策表可见，对应于决策 ，可以在m 个 ,j=1,2,m当中任取一个，其相应概率为P(j|x)。因此在采取决策 情况下的条件期望损失即条件风险条件风险 为：iiji,xRi|i条件风险R(i|x)只反映对某一x的取值采取决策i所带来的风险。可以用来判别分类。).(,.,2,1,1maaixPExRjmjjijii第二章第二章 贝叶斯决策理论贝叶斯决策理论 17期望风险R（也叫条件期望损失）：式中dx是特征空间的体积元，积分在整个特征空间进行。（在整个特征空间中定义期望风险）
13、。期望风险R反映对整个特征空间所有x的取值采取相应的决策(x)所带来的平均风险。对于x的不同观察值，采取决策i时，其条件风险的大小是不同的。所以，究竟采取哪一种决策将随x的取值而定。决策可以看成随机向量x的函数，记为(x)。)(,平均风险dxxPxxRR第二章第二章 贝叶斯决策理论贝叶斯决策理论 184.最小风险贝叶斯决策思想：分类识别决策时，根据类的概率和概率密度，考虑误判的损失代价。决策应是统计意义上使由于误判而蒙受的损失最小。如果在采取每一个决策或行动时，都使其条件风险最小，则对所有的x作出决策时，其期望风险也必然最小。（条件平均损失最小的判决也必然使总的平均损失最小。）第二章第二章 贝
14、叶斯决策理论贝叶斯决策理论 19kaiikaaxRxR则：|min|,2,15.最小风险贝叶斯决策规则如果：如果：kx第二章第二章 贝叶斯决策理论贝叶斯决策理论 206.判决实施步骤：（1）在已知P(j),P(x|j),j=1,2,m，并给出待识别的x的情况下，根据贝叶斯公式计算出后验概率：iimijjjPxPPxPxP|1j=1,2,m（2）利用计算出的后验概率及决策表，计算出采取i(i=1,2,)的条件风险 。xRi|（3）按 确定k -最小风险贝叶斯决策最小风险贝叶斯决策 aixRxRik,2,1|min|kx第二章第二章 贝叶斯决策理论贝叶斯决策理论 21 最小风险贝叶斯决策除了要有符
15、合实际情况的先验概率P(j)及类条件概率密度P(x|j)外，还必须要有合适的损失函数。实际工作中要列出合适的决策表很不容易，往往要根据所研究的具体问题，分析错误决策造成损失的严重程度来确定。第二章第二章 贝叶斯决策理论贝叶斯决策理论 227.错误率最小的贝叶斯决策规则与风险最小的贝叶斯决策规则的联系 在采用0-1损失函数时，最小风险贝叶斯决策就等价于等价于最小错误率贝叶斯决策。0-1损失函数jijiji,1,0,对于正确决策（即i=j），=0，就是说没有损失；而对于任何错误决策，其损失均为1。ji,第二章第二章 贝叶斯决策理论贝叶斯决策理论 23 二类问题：把x归于1时风险：把x归于2时风险：
16、作用。较大，决策损失起决定因类风险大。因决策异常细胞因为条件风险：概率：由上例中计算出的后验，曲线上查的从类条件概率密度分布异常为概率为例：已知正常细胞先验6,)()(818.0)()(092.1)()()(182.0)(,818.0)(0,1,6,04.0)(,2.0)(,1.0)(,9.0)(1212112122121211212221121121xxRxRxPxRxPxPxRxPxPxPxPPPjjjii)()()()()()(22212122121111xPxPxRxPxPxR第二章第二章 贝叶斯决策理论贝叶斯决策理论 24分类器。这时便得到最小错误率最大，最小，就相当于后验概率时时函
17、数用最小风险分类规则：)()()(1)()()()()(,1,0)(:10)()()()()(1121221211121121xPxRxPxPxPxPxRjijixxPxxRxRiiijjjijijijjMiiijjj第二章第二章 贝叶斯决策理论贝叶斯决策理论 25二、聂曼二、聂曼皮尔逊决策法皮尔逊决策法（N-P判决）1.问题的提出：(1)某些二类判决问题，某一种错误较另一种错误更为重要危害更为严重。(2)先验概率未知。2.基本思想：严格限制较重要的一类错误概率，在令其等于某常数的约束下使另一类误判概率最小。第二章第二章 贝叶斯决策理论贝叶斯决策理论 26 例如在癌细胞识别中，我们已经认识到把
18、异常误判为正常的损失更为严重，常常要求这种误判为错误率P2(e)很小，即P2(e)=是一个很小的常数，在这种条件下再要求P1(e)即把正常误判为异常的错误率尽可能地小。所以这样的决策可看成是在P2(e)=0条件下，求P1(e)极小值的条件极值问题。00,第二章第二章 贝叶斯决策理论贝叶斯决策理论 273.决策规则按Lagrange乘子法建立如下数学模型：r=P1(e)+(P2(e)-0)211|RdxxPeP 122|RdxxPeP R1是类别1的区域，R2是类别2的区域，而R1+R2=Rs，Rs为整个特征空间。也就是说，决策作出之后，整个特征空间分割成不相交的两个区域R1和R2，若样本x落入
19、R1，就判定属于1类，反之则属于2类。根据类条件概率密度的性质，有：dxxPdxxPRR11|1|12第二章第二章 贝叶斯决策理论贝叶斯决策理论 28 由此式分别对x和 求导，令 dxxPxPdxxPdxxPrRRR120021|1|1120 xr0r21|xPxP有02|1dxxPR 满足 的最佳值 和满足 的边界面就能使r极小。21|xPxP02|1dxxPR第二章第二章 贝叶斯决策理论贝叶斯决策理论 29N-P决策规则决策规则 如果：则：21|xPxP21xN-P决策规则归结为找阈值 。最小。一定这时可确定，为常数时，的函数在取为的分界线作时当1222222121,)(.,)()(dxx
20、PxPxP第二章第二章 贝叶斯决策理论贝叶斯决策理论 304.最小错误率贝叶斯决策规则贝叶斯决策规则与N-P决策决策 聂曼皮尔逊决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的，所不同的只是最小错误率决策所用的阈值是先验概率之比P(2)/P(1)，而聂曼皮尔逊决策所用的阈值则是Lagrange乘子。对照表确定。通过建立为已知，的确定：0222)(dxxP第二章第二章 贝叶斯决策理论贝叶斯决策理论 31v例例：两类的模式分布为二维正态 协方差矩阵为单位矩阵1=2=I，设20.09求聂曼皮尔逊准则 .v 解：解：TT0,1,0,121 2exp212exp21)(21exp212exp21)
21、(22212222221111x1xxxxPxxxxxPTT同理：所以因为是两类正态第二章第二章 贝叶斯决策理论贝叶斯决策理论 32如图所示：时为最小错误率小但大小大但小大如图所示：的不同直线。判别边界是平行于对于不同式有了判别边界和判别形即判别式为：判别边界为：如右图所示.1,;,ln212exp2exp2exp)()(:121222112111121xxxxxxxxPxP42 12141111x2x12345.07.0345.07.0第二章第二章 贝叶斯决策理论贝叶斯决策理论 33v所以此时聂曼皮尔逊分类器的分界线为：2111345.0,69.02lnln,ln21xxx所以因为v由图可知
22、为保证2足够小，边界应向1一侧靠，则1v 与2的关系表如右：最小的判别规则。时使这就是在给定最小上式使此时判别式为：由表查得给定12122121209.0,2)()(209.0 xxPxP的关系表与2 4 2 1 20.04 0.09 0.16 0.25 0.38第二章第二章 贝叶斯决策理论贝叶斯决策理论 34三、最小最大决策 如果对给定的x，其P(i)不变，按照贝叶斯决策规则，可以使错误率最小或风险最小。但如果P(i)是可变的，或事先对先验概率毫无所知，若再按某个固定的P(i)条件下的决策规则来进行决策就往往得不到最小错误率或最小风险。最小最大决策最小最大决策讨论在P(i)变化时如何使最大可
23、能风险最小。第二章第二章 贝叶斯决策理论贝叶斯决策理论 35二类问题:假定损失函数 当 时，决策为 的损失，当 时，决策为 的损失，则为 和 时决策 的损失。通常作出错误决策总是比作出正确决策所带来的损失要大，即 再假定两类区域1和2已确定，则风险R与先验概率P(1)关系:111x1x122122,2x2x22121121,2x1x1x第二章第二章 贝叶斯决策理论贝叶斯决策理论 36 的线性函数。就是被确定，风险一旦，对二类情况有：关系：与风险)(,11 )(12122212111212211122212221121222211212212111121122122121PRdxxPdxxPPd
24、xxPRdxxPdxxPPPdxxPPxPPdxxPPxPPdxxPxxRdxxPxxRdxxPxxRRPRi先验概率P(1)与风险R间的变化关系如下：第二章第二章 贝叶斯决策理论贝叶斯决策理论 37 1222221211121221122212221dxxPdxxPbdxxPabPaR其中：)(1xP)(2xP12X1X12 风险值在（a,a+b）的范围内变化，其最大风险为a+b。第二章第二章 贝叶斯决策理论贝叶斯决策理论 38 这样，就得出最小风险与先验概率的关系曲线，如图所示：。使最大风险为不变，变化，则平行，与横坐标这时直线如图所示，这时候最大风险为最小即无关与使如果选择关系为一条曲线
25、与选择不同时，当关系为直线关系与区间固定时，当a:0.,0,3;,2;,1112221222222121112122111211211121212RPPRdxxPaRdxxPdxxPPRbPRRPPR1PR固定21,*RA选择不同21,)(1*P1PR*RB)(1*P不变变化RP1第二章第二章 贝叶斯决策理论贝叶斯决策理论 39 .,0.0,2121211222112112两类错误概率相等若选取损失为满足应该使边界所以在最大最小判别中ePePdxxPdxxPb上式证明，所选的判别边界，使两类的错误概率相等：ePeP21这时可使最大可能的风险为最小，这时先验概率变化，其风险不变。第二章第二章 贝
26、叶斯决策理论贝叶斯决策理论 40迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。假设对样品进行第 i 次观察获取一序列特征为：X=(x1,x2,xi)T 则对于1，2两类问题,若X 1，则判决完毕若X 2，则判决完毕若X不属1也不属2，则不能判决，进行第i+1次观察，得X=(x1,x2,xi,x i+1)T，再重复上面的判决，直到所有的样品分类完毕为止。这样做的好处是使那些在二类边界附近的样本不会因某种偶然的微小变化而误判，当然这是以多次观察为代价的。四、序贯分类决策 第二章第二章 贝叶斯决策
27、理论贝叶斯决策理论 41:),.,()()()()()(121211221时可计算其似然比当测得第一个特征参数其中，特征矢量xxxxXXPPXPXPxlTNi)()()()()(2111211111xPxPxPxPxlv由最小错误概率的Bayes 判决，对于两类问题，似然比为)()()(,)(,)(,)(22112121221121111111xxPxxPxxlxAxlBxXBxlxXAxl，并计算似然比则测量下一个特征参数如果则如果则如果第二章第二章 贝叶斯决策理论贝叶斯决策理论 42v 现在来确定A、B的值。v 因为是上下门限），（其中止样品的类别全部确定为所有，为重复以上过程直到，再测第
28、三个特征参数，若，则，若，则，若BAxAxxlBxxXBxxlxxXAxxlTT.)()(,)()(,)(3212221212121212类的概率。判决为类而属于，左边的积分代表模式得：的特征空间内取积分可对上式两边对应于次测量表示第11211212111)()()()(,)()()(dXXPAdXXPXAPXPNNAXPXPxlNNNNNNN第二章第二章 贝叶斯决策理论贝叶斯决策理论 4322112121212111212121122221111)(1)()()(1)(1)(),(1()()()()()(,)()()()()(1)()(1)()()()(1)(2211XePePBXePePA
29、ePePBePBePdXXPBdXXPXBPXPBXPXPxlePePAeAPePePdXXPePePdXXPNNNNNNNNN用错误概率表示为即所以同理，因为或类的分类误差概率类而错判为为本来属于而积分类的分类误差概率类而错判为表示本来属于即：第二章第二章 贝叶斯决策理论贝叶斯决策理论 44v 序贯分类决策规则：上下门限A、B是由设计给定的错误概率P1(e),P2(e)来确定的，Wald 已证明，观察次数不会很大，它收敛的很快。时，继续观察时时AXPXPBXePePBXPXPXePePAXPXPiiiiii)()()(1)()()()()(1)()(212212112121)()(121ePePA)(1)(21ePePB继续观察区区判决1X区判决2X
