Bayes决策理论课件.ppt

1、 返回本章首页返回本章首页返回本章首页返回本章首页返回本章首页返回本章首页返回本章首页返回本章首页1()P2()P121122()()()()PPPP12()min(),()P ePP返回本章首页返回本章首页1()P2()P1()Px2()Px21()()()()()jjjjjjpPPpPxxxx返回本章首页返回本章首页121122()()()()PPPPxxxxx1221()()()PP ePxxxxxx()P e x()P e返回本章首页返回本章首页()()()P eP epdxxx1()P ex返回本章首页返回本章首页21211221112211221122()(,)(,)()()()(

2、)()()()()()()()()RRP eP x RP x RP x RPP x RPp xPdxp xPdxPP ePP e返回本章首页返回本章首页结结 束放映束放映返回本章首页返回本章首页返回本章首页返回本章首页返回本章首页返回本章首页12345,x观察或测量到的观察或测量到的 d 维模式特征向量；维模式特征向量；12345,状态或模式类空间状态或模式类空间决策空间决策空间(,)1,2,5 1,2,5ijij 损失函数，表损失函数，表示真实状态为示真实状态为 而所采取的决策为而所采取的决策为 时所带来的某种时所带来的某种损失。损失。根据根据Bayes公式，后验概率为：公式，后验概率为：j

3、i51()()()1,2,5()()jjjiiipPPjpPxxx返回本章首页返回本章首页对于刚才的决策表考虑如下的一个条件期望损失，即给对于刚才的决策表考虑如下的一个条件期望损失，即给定定 ，我们采取决策，我们采取决策 情况下的情况下的条件期望损失（条件风条件期望损失（条件风险）险）：采取那种决策呢采取那种决策呢？最小风险最小风险Bayes决策规则决策规则：51()(,)()(,)1,2,5iijjijjRPEi xxix1,2,()min()kikiaRR xx12345,返回本章首页返回本章首页 综上，可知该规则的进行步骤为：综上，可知该规则的进行步骤为：（1）根据）根据已知已知，计算出

4、后验概率；，计算出后验概率；（2）利用计算出的后验概率及决策表（专家根据经验确）利用计算出的后验概率及决策表（专家根据经验确定），计算条件风险定），计算条件风险（3）最小风险决策）最小风险决策1()()()()()()()jjjjjciiiPpPpPpPxxxxx1()(,)()1,2,ciijjjRPia xx 1,2,()min()kiiaRRxx返回本章首页返回本章首页这样按最小风险的这样按最小风险的Bayes决策规则，采取的决策将随决策规则，采取的决策将随 的的取值而定，引入函数取值而定，引入函数 ，表示对，表示对 的决策。对整个特的决策。对整个特征空间上所有征空间上所有 的取值采取相

5、应的决策的取值采取相应的决策 所带来的平所带来的平均风险均风险显然，我们对连续的随机模式向量按最小风险显然，我们对连续的随机模式向量按最小风险Bayes决策决策规则采取的一系列决策行动可以使平均风险最小。规则采取的一系列决策行动可以使平均风险最小。到此为止，我们已经分析了两种分别使错误率和风险达到此为止，我们已经分析了两种分别使错误率和风险达到最小的到最小的Bayes决策规则，下面分析一下两种决策规则的决策规则，下面分析一下两种决策规则的关系。关系。()()RRpdx xx xx()xxx()x返回本章首页返回本章首页两类情况下的最小风险两类情况下的最小风险BayesBayes决策决策(,)i

6、jij 11111221212211222122()()()()()()()()()()RPPRRRPPRRxxxxxxxxxx2121111221222111112222121111122222()()()()()()()()()()()()()()RRPPPPPPxxxxxxxx返回本章首页返回本章首页2111112222121111122222121122()()()()()()()()()()()()PPPPPPPPxxxxxxxx21111222返回本章首页返回本章首页 0 (,),1,2,1 ijiji jcij 11()(,)()()cciijjjjji jRPP xxx1,2,

7、1()min()()ckijicji jRRPxxx返回本章首页返回本章首页1111,2,1,2,11,2,1,2,()()()1()()()min()min()min1()max()cjjcjjcjiiikiiccjicjj iiiicicpPPpPRRPPP xxxxxxxx返回本章首页返回本章首页返回本章首页返回本章首页21211111222211220()()()()()()()()()()()()RRRRp xPdx PP ep xPdx PP eP ep xdxP ep xdx120()()P eP e用用Lagrange乘子法建立其数学模型乘子法建立其数学模型返回本章首页返回本章

8、首页12211201111()()()()1 ()1()RRRRP eP ep xdxp xdxp xdxp xdx 2111111120120021021()()1()()1()()1()()RRRRRRRp xdxp xdxp xdxp xdxp xdxp xdxp xp xdx 返回本章首页返回本章首页10212122112122111221121()()()()0 min()()0 ()()0 ()()0 ()()()()Rp xp xdxp xp xx Rp xp xx Rp xp xxp xp xxp xxp xp xxp x 返回本章首页返回本章首页1122012()0 ()0

9、()()()Rptpp xdxRtRt tt122112()()()()p xxp xp xxp x121122()()()()PPPPxxxx返回本章首页返回本章首页返回本章首页返回本章首页以两类情况下的最小风险以两类情况下的最小风险BayesBayes决策为例进行讨论决策为例进行讨论(,)ijij 11111221212211222122()()()()()()()()()()RPPRRRPPRRxxxxxxxxxx()()RRpdx xxx返回本章首页返回本章首页1212()()()()RRRRpdRpdxxxxxx假定决策域已经确定，我们以假定决策域已经确定，我们以 表示分类器判为表示

10、分类器判为 时的特征空间时的特征空间中的区域，同样有中的区域，同样有 和和 ，于是总风险用条件风险的形式表示为，于是总风险用条件风险的形式表示为1R12R212111122211222()()()()()()RRRPPpdPPpdxxxxxxxx11111222211222()()()()()()RPPRPPxxxxxx返回本章首页返回本章首页121111122221112222()()()()()()()()RRRPpPpdPpPpdxxxxxx122111()1()()()1RRPPpdpd xxxx1212212222111222111112222()()()()()()()()RRRR

11、pdPpdpdxxxxxx返回本章首页返回本章首页1211221222211222111112222()()()()()()()()RRRR a bPapdbpdpd xxxxxx一旦一旦 和和 确定，风险确定，风险 就是先验概率就是先验概率 的线性函数，可表的线性函数，可表示为示为1R2RR1()P1222121111()()()()PP决策阀值决策阀值返回本章首页返回本章首页1211221222211222111112222()()()()()()()()RRRR a bPapdbpdpd xxxxxx一旦一旦 和和 确定，风险确定，风险 就是先验概率就是先验概率 的线性函数，可表的线性函

12、数，可表示为示为1R2RR1()P1222221111()()()()PP决策阀值决策阀值 返回本章首页返回本章首页返回本章首页返回本章首页返回本章首页返回本章首页综上所述，可以得出：在作最小风险综上所述，可以得出：在作最小风险Bayes决策时，若考决策时，若考虑虑 有可能改变或对先验概率毫无所知，则应选择使有可能改变或对先验概率毫无所知，则应选择使最小最小Bayes风险风险 为最大值时的为最大值时的 来设计分类器，来设计分类器，它相对于其它的它相对于其它的 为最大，但能保证在不管为最大，但能保证在不管 如何如何变化时，使最大风险将为最小，我们称其为变化时，使最大风险将为最小，我们称其为最小最

13、大决最小最大决策。策。其任务就是寻找使其任务就是寻找使Bayes风险为最大时的决策域风险为最大时的决策域 和和 ，它对应于下式，它对应于下式然后确定然后确定R1()P1()P1()P1()P2111222111112222()()()()()0RRpdpdxxxx1R2R1222221111()()()()PtP1()P12(),(),()cgggxxx()(),1,2,ijggijcj ixx返回本章首页返回本章首页()()ijggxx返回本章首页返回本章首页1 多类情况多类情况最小错误率的最小错误率的Bayes决策规则：决策规则：可设判别函数为：可设判别函数为：()(),1,2,ijiPP

14、jcj ixx()()iigPxx()()()()()()()iijjiiiipPpPgpPxxxxln()ln()ln()ln()()ln()ln()iijjiiiipPpPgpPxxxx()()()iigf Phxxx返回本章首页返回本章首页最小风险的最小风险的Bayes决策规则，决策规则，可设判别函数为可设判别函数为决策面方程决策面方程分类器框图分类器框图()()iigRxx1,2,()min()kiiaRRxx()()ijggxx返回本章首页返回本章首页返回本章首页返回本章首页返回本章首页返回本章首页2 两类情况两类情况可设判别函数为：可设判别函数为：12()()()gggxxx12(

15、)0,()0,()0,gggxxxxx可将其任意分类，或拒绝可将其任意分类，或拒绝返回本章首页返回本章首页()iP()ipx返回本章首页返回本章首页211()exp22xp x()()E xxp x dx222()()()Exxp x dx期望期望方差方差()p x2(,)N2(,)N返回本章首页返回本章首页112211()exp2(2)Tdpxxx()()iiiEx p x dxx 2221112122212222222122dTdddddijiijjEExxxx均值向量均值向量协方差矩阵协方差矩阵(,)N返回本章首页返回本章首页(,)N(1)2d dd11221111()exp2(2)TT

16、dTpkkxxxxxxx返回本章首页返回本章首页返回本章首页返回本章首页111(,)()220 0 0TTLkL xx xxxxxxxxxx12Tx xxx11120 TTTk xxx xxxx x返回本章首页返回本章首页x21()()Txx返回本章首页返回本章首页ln()ln()ln()ln()()ln()ln()iijjiiiipPpPgpPxxxx112211()exp2(2)Tiiiidpxxx111()ln2lnln()222()()TiiiiiiijdgPgg xxxxx返回本章首页返回本章首页1111()()11ln2lnln()22211ln2lnln()22212()1 ln

17、ln02()ijTiiiiiTjjjjjTTiiijjjiijjggdPdPPP xxxxxxxxxx下面根据上式对以下三种情况进行讨论。下面根据上式对以下三种情况进行讨论。决策面方程决策面方程返回本章首页返回本章首页2121 dii I2i I 12222211()ln2lnln()22211ln2lnln()2221()ln()2TiiiiiiTdiiiTiiiiiidgPdPgP xxxxxxxxxx 如果先验概率不等，那么平方距离（欧氏距离）必须通过方差如果先验概率不等，那么平方距离（欧氏距离）必须通过方差进行归一化，并通过增加进行归一化，并通过增加 进行修正。进行修正。ln()iP返

18、回本章首页返回本章首页 如果先验概率相等如果先验概率相等称其为最小距离分类器。对以上两类情况进行化简称其为最小距离分类器。对以上两类情况进行化简21,()min iiiicgxxxln()ln()ijPP 221()ln()212ln()2TiiiiTTTiiiigPP xxxx xx021()2ln()2TTTiiiiiiigPw xxW x02211 ln()2TiiiiiiwP W返回本章首页返回本章首页2222200()()0()11()()ln()2()1ln02()()1ln02()()()01 2ijTTTTiijijiijjjTTTTiijiijjjTTijijTTTTiiji

19、jijjijTijijiggPggPPPPPgg xxxxxxxxxWx xWx22()ln ()ijijjijPP下面来看线性分类器的决策面方程下面来看线性分类器的决策面方程下面来看线性分类器的决策面方程1 最小错误概率的Bayes决策这时Bayes决策规则仍然不变，最小错误概率的Bayes决策法则仍为：在实际问题中，大量的随机变量都服从或近似地服从正态分布；7离散情况的Bayes决策对于刚才的决策表考虑如下的一个条件期望损失，即给定 ，我们采取决策 情况下的条件期望损失（条件风险）：两种产品混在一起，要求对它们自动分类。（6）线性组合的正态性。即使统计总体不服从正态分布，但是它的许多重要的

20、样本特征可能是渐进正态分布的；（2）各类的协方差矩阵不相等在模式识别问题中，感兴趣的往往是尽量减小分类错误的概率。人，老头，老太，年青人。在模式识别问题中，感兴趣的往往是尽量减小分类错误的概率。先验概率的估计并不困难，关键是条件概率密度函数。螺丝背光源照射后反射光的亮度特征返回本章首页返回本章首页返回本章首页返回本章首页12c i 11111()ln2lnln()22211ln2lnln()2221()ln()2TiiiiiiTiiiTiiiidgPdPgP xxxxxxxx如果先验概率相等，如果先验概率相等，只要计算只要计算 到各类的均值点到各类的均值点 的马氏距离平方，然后把的马氏距离平方

21、，然后把 归于归于 距离平方最小的类别。距离平方最小的类别。21()Tiiigxxxxix返回本章首页返回本章首页对以上两类情况进行化简对以上两类情况进行化简1111()ln()21ln()2TiiiiTTiiiigPPxxxx1101()ln()2TTTiiiiiiigPwxxW x1101 ln()2TTiiiiiiwPW返回本章首页返回本章首页0101()()0()ln()1()2TijijijiijijTijijggPPwxxWx xW决策面方程决策面方程返回本章首页返回本章首页返回本章首页返回本章首页1111111()ln2lnln()22211()lnln()22111lnln()

22、222TiiiiiiTiiiiiiTTTiiiiiiiidgPgPP xxxxxxxxx0111000()1 211lnln()22()()0TiiiiiiiTiiiiiiTijijijijgwwPggww TiiTxx W x w xWwxxxWWxwwx返回本章首页返回本章首页返回本章首页返回本章首页1()()()()()jjjciiiPPPPPxxx()()ijiPPxx返回本章首页返回本章首页1,2,()min()kikiaRR xx()()()()()()log()log()iiiiiiiigPgPPgPPxxxxxx111222()()()()()()loglog()()PPgPP

23、gPPxxxxxx返回本章首页返回本章首页12 0(,)1dix xxxx12(1)(1)iiiipP xqP x111121()(1)()(1)iiiidxxiiidxxiiiPppPqqxx返回本章首页返回本章首页11121()(1)()(1)iiiixxdiixxiiiPppPqqxx1122121()()()loglog()()1()log(1)loglog1()diiiiiiiPPgPPppPxxqqP xxx01()di iigw xwx返回本章首页返回本章首页10211(1)logloglog1(1)1()loglog1()iiiiiiiiidiiipppqwqqqppPwqP1

24、2()0,()0,()0,gggxxxxx可将其任意分类，或拒绝可将其任意分类，或拒绝返回本章首页返回本章首页求该平面到坐标原点的法向距求该平面到坐标原点的法向距离。离。2 论述以下概念并分析其解决问题的思想方法论述以下概念并分析其解决问题的思想方法（1）基于最小错误率的）基于最小错误率的Bayes决策；决策；（2）最小最大决策；）最小最大决策；（3）Fisher线性判别；线性判别；（4）最小平方误差准则函数；）最小平方误差准则函数；（5）最小最大化准则。）最小最大化准则。12345556832162610 0 xxxxx00Tw W X+WXTA YAY返回本章首页返回本章首页 THANK YOU VERY MUCH！本章到此结束本章到此结束下一章下一章“返回本章首页返回本章首页结结 束放映束放映