1、随机模式分类识别，通常称为随机模式分类识别，通常称为BayesBayes( (贝叶斯贝叶斯) )判决判决。（基础复习）（基础复习）第四章第四章 统计判决统计判决主要依据类的概率、概密，按照主要依据类的概率、概密，按照某种准则某种准则使分使分类结果从统计上讲是最佳的。准则函数不同，所导类结果从统计上讲是最佳的。准则函数不同，所导出的出的判决规则判决规则就不同，分类结果也不同。就不同，分类结果也不同。本章主要论述分类识别的一般原理、几种重要本章主要论述分类识别的一般原理、几种重要的的准则准则和相应的和相应的判决规则判决规则，正态分布模式类的判决，正态分布模式类的判决函数以及它们的性能。函数以及它们
2、的性能。BayesBayes公式：公式：设实验设实验E E的样本空间为的样本空间为S S，A A为为E E的事件，的事件，B B1 1,B,B2 2, , ,B Bn n为为S S的一个划分，且的一个划分，且P P(A)0(A)0，P P(B(Bi i)0)0，(i=1,2,(i=1,2,n),n)，则，则: :)()()|()()|()()|()|(1APBPBAPBPBAPBPBAPABPiinjjjiii“概率论概率论”有关概念复习有关概念复习)()()()(iiiBAPBPABPAPB1SB2B3B4A划分示意图“概率论概率论”有关概念复习有关概念复习)()()()(iiiBAPBPA
3、BPAP条件概率条件概率“概率论概率论”有关概念复习有关概念复习)()()()(iiixpPxPxp)()()()(iiiBAPBPABPAP先验概率：先验概率：P( i)表示类表示类 i出现的先验概率，简称类出现的先验概率，简称类 i的概率。的概率。后验概率：后验概率：P P( ( i i|x|x) )表示表示x x出现条件下类出现条件下类 i i出现的概率出现的概率, ,称其称其为类别的为类别的后验概率后验概率，对于模式识别来讲可理解为，对于模式识别来讲可理解为x x来自类来自类 i i的概率。的概率。类概密：类概密： p(x|(x| i i) )表示在类表示在类 i i条件下的概率密度，
4、即类条件下的概率密度，即类 i i模模式式x x 的概率分布密度，简称为的概率分布密度，简称为类概密类概密。 为表述简洁，我们将随机矢量为表述简洁，我们将随机矢量X X及它的某个取值及它的某个取值x x都都用同一个符号用同一个符号x x表示，在以后各节中出现的是表示随机表示，在以后各节中出现的是表示随机矢量还是它的一个实现根据内容是可以清楚知道的。矢量还是它的一个实现根据内容是可以清楚知道的。“概率论概率论”有关概念复习有关概念复习nXiixdxpxgxgE)()()(条件期望条件期望( (某个特征某个特征) )因不涉及因不涉及x的维数的维数,可将可将Xn改写为特征空间改写为特征空间W W。W
5、xdxpxgxgEii)()()(对于两类对于两类 1 1， 2 2问题，直观地，可以根据后验概率做判决：问题，直观地，可以根据后验概率做判决：121122 (| )(| ) (| )(| ) p xp xxp xp xx若则若则21(|)()(|)()(|)()(|)()iiiiiiiip xPp xPpxp xp xP式中，式中，p p(x|(x| i i) )又称又称似然函数似然函数(likelihood function of (likelihood function of class class i i) )，可由已知样本求得。，可由已知样本求得。 Bayes法则最大后验概率准则法则
6、最大后验概率准则根据根据Bayes公式，后验概率公式，后验概率 可由类可由类 i的先验概率的先验概率P( i)和条件概率密度和条件概率密度 来表示，即来表示，即(/ )ipx( /)ip x将将P( i|x)代入判别式，判别规则可表示为代入判别式，判别规则可表示为1122111222 ( |)()( |)() ( |)()( |)() p x Pp x Pxp x Pp x Px若则若则或改写为或改写为212122112112122112 )()()|()|( )()()|()|(xPPxpxplxPPxpxpl则则l12称为称为似然比似然比（likelihood ratio），）， 12称为
7、似然比的判决阀值。称为似然比的判决阀值。原则：要确定原则：要确定x x是属于是属于11类还是类还是22类，要看类，要看x x是来自于是来自于11类的概率大还是来自类的概率大还是来自22类的概率大。类的概率大。已知：已知：（统计结果）（统计结果）先验概率：先验概率：P( ( 1 1)=1/3)=1/3（鲈鱼出现的概率）（鲈鱼出现的概率） P( ( 2 2)=1-)=1-P( ( 1 1)=2/3 )=2/3 （鲑鱼出现的概率鲑鱼出现的概率）条件概率条件概率：p(x| 1 1) 见图示见图示（鲈鱼的长度特征分布概率）（鲈鱼的长度特征分布概率）p(x| 2 2)见图示见图示（鲑鱼的长度特征分布概率）
8、（鲑鱼的长度特征分布概率）求：后验概率求：后验概率：P( |x=10)=?（如果一条鱼如果一条鱼x x1010，是什么类别？），是什么类别？）解法解法1 1：111111122(10 |)()(|10)()(|)() (|)()(|)()0.05 1/3 0.0480.05 1/30.502 /3p xPPxp xp xPp xPp xP10101010利用利用Bayes公式公式写成似然比形式写成似然比形式1122212112122(|)0.05100.1(|)0.50()2/32()1/3 , , p xlxp xPPlxx10（）10判决阀值（10）即是鲑鱼。解法解法2：例题1图示)(1x
9、P)(2xPx条件概率密度分布)(ixP鲈鱼鲈鱼鲑鱼鲑鱼100.050.55.58.5例题1图示)(1xP)(2xPx2 . 04 . 06 . 08 . 00 . 1后验概率分布)(xPi1015n 最小误判概率准则判决最小误判概率准则判决n 最小损失准则判决最小损失准则判决n 最小最大损失准则最小最大损失准则n N-N-P(NeymanP(NeymanPearson)Pearson)判决判决第四章第四章 统计判决统计判决164 41 1 最小误判概率准则判决最小误判概率准则判决第四章第四章 统计判决统计判决17图例：最小误判概率准则)()(11Pxp)()(22Pxp212)(P121)(
10、P最小误判概率准则下的判决规则：最小误判概率准则下的判决规则： 如果，如果， 则判则判)()(11xpP)()(22xpP21x12x)()()(2112xpxpxl)()(12PP或等价地，或等价地， 如果，如果， 则判则判)(1xP)(2xP21x另一个等价形式是：另一个等价形式是： 如果如果 则判则判)()()()(iiixpPxPxp由贝叶斯定理由贝叶斯定理对于多类问题，对于多类问题，最小误判概率准则最小误判概率准则有如下有如下几种等价的判决规则几种等价的判决规则:若若 ，则判，则判 若若 ， ，则判，则判 )()(xPxPjiij ix)(xPi)(maxxPjjix（后验概率形式）
11、（后验概率形式）若若 ， ，则判，则判 若若 ，则判，则判 （条件概率形式）（条件概率形式）)()()()(jjiiPxpPxpij ix)()(iiPxp)()(maxjjjPxpix若若 ， , 则判则判 ijijjiijPPxpxpxl)()()()()(ij ix（似然比形式）（似然比形式）如果如果 ， ，则判则判 （条件概率的对数形式）（条件概率的对数形式）)(ln)(ln)(ln)(lnjjiiPxpPxpij ix例：对一批人进行癌症普查，患癌症者定为属例：对一批人进行癌症普查，患癌症者定为属 1类，类，正常者定为属正常者定为属 2类。统计资料表明人们患癌的概率类。统计资料表明人
12、们患癌的概率 ，从而，从而 。设有一种诊断此病的。设有一种诊断此病的试验，其结果有阳性反应和阴性反应之分，依其作诊试验，其结果有阳性反应和阴性反应之分，依其作诊断。化验结果是一维离散模式特征。统计资料表明：断。化验结果是一维离散模式特征。统计资料表明：癌症者有阳性反映的概率为癌症者有阳性反映的概率为0.95即即 ，从而可知从而可知 ，正常人阳性反映的概率，正常人阳性反映的概率为为0.01即即 , 可知可知 。005. 0)(1P995. 0)(2P95. 0)(1阳xP05. 0)(1阴xP01. 0)(2阳xP99. 0)(2阴xP问有阳性反映的人患癌症的概率有多大？问有阳性反映的人患癌症的
13、概率有多大？)()()()()()(221111PxPPxPPxP阳阳阳995. 001. 0005. 095. 0005. 095. 0323. 0)()()()(111阳阳阳xPPxPxP解：解：说明有阳性反应的人其患癌的概率有说明有阳性反应的人其患癌的概率有32.3% 32.3% 写成似然比形式：写成似然比形式： 9501. 095. 0)()()(2112阳阳xPxPxl197005. 0995. 0)()(1212PP1212)(xl2x26)()(21ln21)(ln)(1iiiiiixxPxd ci, 2 , 1上式中去掉与类别无关的项并不影响分类判决结果：上式中去掉与类别无关的
14、项并不影响分类判决结果：ici, 2 , 11( )( /) ( )11( )ln ( )ln(2 )ln()()222iiiiiiiiid xp xPnd xPxx 或对数形式或对数形式 类的判决函数可以表示为：类的判决函数可以表示为：)()(21ln21)(ln)(1iiiiiixxPxd ci, 2 , 1i(1) 当当 时时iiiiiiiixxxPxxPxd11112121)(ln)()(21)(ln)( ij当当 和和 相邻相邻 时时xPPxdxdjijiji1)()(ln)(ln)()(0)(2121011xxwijjjiiij当当 和和 相邻相邻 时时xPPxdxdjijiji1
15、)()(ln)(ln)()(0)(2121011xxwijjjii式中：式中：)(1jiijw)()()()()(ln)(2110jijijijijiPPx显然，该判别界面为一超平面。此决策超平面过显然，该判别界面为一超平面。此决策超平面过点点 ， 是该超平面的法矢量。是该超平面的法矢量。 0 xijw若各类的概率相等，由判别式若各类的概率相等，由判别式 )()(21)(ln)(1iiiixxPxd可简化为马氏距离的平方，即：可简化为马氏距离的平方，即： )()()(1iiixxxd因此因此 的类别就由的类别就由 到各类的均矢的马氏距离决定，到各类的均矢的马氏距离决定，应判应判 属于马氏距离最
16、小的那一类。属于马氏距离最小的那一类。 xxxx1x2 122112w21决策超平面过决策超平面过点，矢量点，矢量是该超平面的法矢量。是该超平面的法矢量。通常不与通常不与方向相同，所以决策界面不与方向相同，所以决策界面不与正交。正交。0 xijw)(1jiijw)(ji)(jix1x2 122112w221II为单位阵，为单位阵，2为分量的方差，显然有矢量为分量的方差，显然有矢量ijw和矢量和矢量)(ji方向相同，此时决策平面垂直于两类中心的连线方向相同，此时决策平面垂直于两类中心的连线 若若)()(jiPP此时决策界面还过此时决策界面还过i和和j连线的中点连线的中点 (2)i)()(21ln
17、21)(ln)(1iiiiiixxPxdci, 2 , 10iiiwxwxWx这是一般的情况。这是一般的情况。 i i类模式的判决函数为类模式的判决函数为: :121iiWiiiw1iiiiiiPw1021ln21)(ln其中其中0)()()()()(00jijijijiwwxwwxWWxxdxd相邻两类的决策界面为相邻两类的决策界面为: :二维模式，二维模式， 1 12 2的几种情况的几种情况W1W2(a) 圆，圆， 2 2类的方差小类的方差小W1W2(b) 椭圆，椭圆， 2 2类的方差小类的方差小W1W2(c) 抛物线，抛物线， 2 2类的方差小类的方差小W1W2(d) 双曲线双曲线(e)
18、 直线，两类的分布关于一直线是对称直线，两类的分布关于一直线是对称W1W2例：模式分布如图所示，两类的均矢和协方差阵例：模式分布如图所示，两类的均矢和协方差阵可用下式估计。可用下式估计。iNjijiiixNm1)(1iiijNjijiiimmxxNCi)(1)(1)(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x321(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x321) 1, 1, 3(411m)3, 3, 1 (412m31113111316121CCC8444844481C两类均作为正态
19、分布，并假设两类均作为正态分布，并假设 ，故判决式为故判决式为)()(21PPiiiimCmmCxxd1121)(234)(11xxd211884)(3212xxxxd8444844481C) 1, 1, 3(411m)3, 3, 1 (412m04888)()(32121xxxxdxd01222321xxx39 考虑两类问题，设两类模式为协方差阵相考虑两类问题，设两类模式为协方差阵相等的多变量正态分布，它们的密度等的多变量正态分布，它们的密度函函数分别为数分别为: : 4.1.3 4.1.3 正态模式分类的误判概率正态模式分类的误判概率)(ixp),(iN)()(21)()(2111jjii
20、xxxx )()(21)(11jijijix )(jxp),(jN)(ln)(ln)(ln)(jiijijxpxpxlxL对数似然比对数似然比 )()(21)()(21)(111jijijijijiiijiLE 221ijijijirLLE 2)(ijijiijiLLELVar21)()(jiiixE)()()(11jiiijiixxE)()(1jiji2ijr)()(12jijiijr令令)(xLij是是 的线性函数，而的线性函数，而 的各分量是正态分布的，的各分量是正态分布的，故故 是正态分布的随机变量。是正态分布的随机变量。 xx)(xLij)()(21)(11jijijix )(xLi
21、j 221ijijijirLLE 2)(ijijiijiLLELVar2ijrxi0rij2/2xj-rij2/2p(Lij|i)Lijp(Lij|j)()(lnlnijijPP)(iijLP)2/(2)21(exp21 2222ijijijijijijijrrdLrrLr将属于将属于i类的模式误判为属于类的模式误判为属于j类的错误概率为类的错误概率为)2/(12)21(exp21 2222ijijijijijijijrrdLrrLr)(jijLP将属于将属于i类的模式误判为属于类的模式误判为属于j类的错误概率为类的错误概率为dyyuu)2exp(21)(2式中式中)(iijLP)2/(2)2
22、1(exp21 2222ijijijijijijijrrdLrrLr)()()()()(jijjiijiLPPLPPePijijjijijirrPrrP22211)(21)(dyyuu)2exp(21)(2)2/(12)21(exp21 2222ijijijijijijijrrdLrrLr)(jijLP于是，总的误判概率为于是，总的误判概率为: :特取特取 ，此时，此时 =0=0 上式表明了误判概率与两类的马氏距离的关系上式表明了误判概率与两类的马氏距离的关系： 随随 的增大而单调递减，只要两类马氏距的增大而单调递减，只要两类马氏距离足够大，其误判概率可足够小。离足够大，其误判概率可足够小。
23、21)()(jiPPijijrreP211212121)(dyyijr2exp2122dyyrijrij2exp212222ijr)(eP2ijr)(%)(eP20405114.1 4.1 设以下两类模式均为正态分布设以下两类模式均为正态分布 1 1：(0,0)(0,0)T T，(2,0)(2,0)T T，(2,2)(2,2)T T，(0,2)(0,2)T T 2 2：(4,4)(4,4)T T，(6,4)(6,4)T T，(6,6)(6,6)T T，(4,6)(4,6)T T 设设P(P( 1 1)= P()= P( 2 2)=1/2)=1/2，求该两类模式之间的，求该两类模式之间的Baye
24、sBayes 判别界面的方程。判别界面的方程。作业作业4.2 4.2 设两类二维正态分布参数为设两类二维正态分布参数为u u1 1=(-1,0)=(-1,0)T T，u u2 2=(1,0)=(1,0)T T先验概率相等。先验概率相等。（a a） 令令 试给出负对数似然比判决规则试给出负对数似然比判决规则（b b） 令令试给出负对数似然比判决规则。试给出负对数似然比判决规则。2111212111121212464.2 4.2 最小损失准则判决最小损失准则判决第四章第四章 统计判决统计判决474.2.1 4.2.1 损失概念、损失函数与平均损失损失概念、损失函数与平均损失,21c设模式空间中存在
25、设模式空间中存在c c个类别个类别: :,21a决策空间由决策空间由a a个决策个决策: :决策决策 j j常指将模式常指将模式x x指判为某一类指判为某一类w wj j或者是拒判。或者是拒判。ijij)(对一个实属对一个实属 i i 类的模式采用了决策类的模式采用了决策 j j 所造成的损失所造成的损失记为：记为： ac,2121于是就有于是就有 空间中的二元函数，称其为空间中的二元函数，称其为损失函数损失函数。48决策决策- -损失表损失表 12c1(1/1)(1/2)(1/c)2(2/1)(2/2)(2/c)c(c/1)(c/2)(c/c)c+1(c+1/1) (c+1/2)(c+1/c
26、)n决策决策 j j指将模式指将模式x x指判为指判为w wj j或者是拒判。或者是拒判。ijjijiij100-10-1损失函数损失函数49 令决策的数目令决策的数目a a等于类数等于类数c c，如果决策，如果决策 j j 定义为判定义为判 属属于于 j j 类，那么对于给定的模式类，那么对于给定的模式 在采取决策在采取决策 j j 的条件下的条件下损失的期望为损失的期望为条件平均风险条件平均风险xExPxRxRijiciiijjj1)()()(), 2 , 1(cjxx 条件期望损失条件期望损失 刻划了在模式为刻划了在模式为 、决策为、决策为 j j条条件下的平均损失，故也称件下的平均损失
27、，故也称 为为条件平均损失或条条件平均损失或条件平均风险（件平均风险（RiskRisk）。由贝叶斯公式，上式可以写为。由贝叶斯公式，上式可以写为x)(xRj)(xRj)()()()(1xpPxpxRiiciijj)()()()(11iciiiiciijPxpPxp50求上式求上式Rj(x)关于关于x的数学期望的数学期望: WcjciiiijjxdPxp11)()(WcicjiiijjxdPxpx11)()()| )(WciiiixdxpxP1)()| )()(ciiiixEP1)| )()()(xEWxdxpxRRj)()(WcjjjxdxpxR1)()(平平均均损损失失51n可以将最小条件平
28、均损失判决规则表示为可以将最小条件平均损失判决规则表示为如果如果 则判则判 4.2.2 4.2.2 最小损失准则判决最小损失准则判决)(min)(xRxRiijjx定理：定理：使条件平均损失最小的判决也必然使总的平均使条件平均损失最小的判决也必然使总的平均损失最小。损失最小。 所以最小条件平均损失准则也称为最小平均损失所以最小条件平均损失准则也称为最小平均损失准则或最小平均风险准则，简称为准则或最小平均风险准则，简称为最小损失准则最小损失准则。52)()()()()()(222111111xpPxpPxpxR)()()()()()(222211122xpPxpPxpxR 对于两类问题，对于两类
29、问题，如果如果)(1xR)(2xR21x则：则：这时最小损失判决规则这时最小损失判决规则可以表为：可以表为： )()()()(22211111PxpPxp)()()()(22221112PxpPxp53)()()()(22211111PxpPxp)()()()(22221112PxpPxp经整理可得：经整理可得：)()()()()()(111112222221PxpPxp 两类问题的最小损失准则的似然比形式的判两类问题的最小损失准则的似然比形式的判决规则为：决规则为：)()()()(111212221221PPxpxp如果如果 21x则判则判 54若记似然比阈值若记似然比阈值)()()()(1
30、11222211212PP注意，若注意，若1212)(xl我们规定任判或拒判。我们规定任判或拒判。)(12xl1221x则两类问题的判决规则为：则两类问题的判决规则为：如果如果则判：则判： 55)(12xl1221x如果如果则判：则判： 损失函数如何确定依赖于实际问题和经验，有时损失函数如何确定依赖于实际问题和经验，有时为了方便，对于一般的为了方便，对于一般的c类问题，令类问题，令jijiij,1,0 （0-10-1损失函数）损失函数）)()()()(111222211212PP)()(1212PP此时：此时：此即为最小误判概此即为最小误判概率准则的判决规则率准则的判决规则 56取取0-10-
31、1损失函数时，最小损失准则等价于最小损失函数时，最小损失准则等价于最小误判概率准则，此时的平均损失就是误判概率，误判概率准则，此时的平均损失就是误判概率，使平均损失最小即使误判概率最小。这也表明，使平均损失最小即使误判概率最小。这也表明，最小误判概率准则是最小损失准则的特例。最小误判概率准则是最小损失准则的特例。 4.2.2 最小损失准则判决最小损失准则判决57582202exp21)(xxp2212) 1(exp21)(xxp似然比为：似然比为：21001221exp)()()(xxpxpxl5921001221exp)()()(xxpxpxl运用最小损失准则，判决规则为：运用最小损失准则，
32、判决规则为：判判0 x即信号为即信号为“0”0”。)()()()(0100011110PP 201221exp)(xxl21x时时)()()()(ln2101000111102PPx两边取对数：两边取对数： 当当 时时6061624.2.3 4.2.3 含拒绝判决的最小损失判决含拒绝判决的最小损失判决拒绝判决可以作为最小损失判决中的一个可能判决，拒绝判决可以作为最小损失判决中的一个可能判决，1c“拒绝判决拒绝判决”。63)()(1xRxRjc如果如果j j=1,2,=1,2, ,c c则作出拒绝判决。则作出拒绝判决。设设 ( ( c+1c+1( (x) )| | i i)=)= r r，( (
33、i i=1,2,=1,2,c),c)，（即各类的拒判损失相同）（即各类的拒判损失相同） rciirciircxPxPxR111)|()|()|(则则 又设又设 ( ( j j( (x) )| | i i)=)= e e，( (j j i i，i i，j j =1,2, =1,2,c),c)，（即各误判损失相同）（即各误判损失相同）x（即各正确判决损失相同）（即各正确判决损失相同） ( ( i i( ( ) )| | i i)=)= c c，( (i i=1,2,=1,2,c),c)， 且通常有且通常有 c c r r e e64)|()|()|(1xpxRiciijj)|()()|(1xPxp
34、jceicie)|()(xPjcee65)|()|(1xRxRjcx如果如果，(j=1,2,c)，则对则对做拒绝判决。做拒绝判决。 )|()(xPjceercecrcerejxP1)|( = 1-t 这里这里 cecrt 称之为称之为拒判门限。拒判门限。 因为因为 c r 1-1/c时时,1-t1/c,上式恒成立上式恒成立,不存在拒判问题不存在拒判问题,即存在拒判决策的条件应该是即存在拒判决策的条件应该是:t1-1/c67判决规则判决规则如下：如下：4.2.3 4.2.3 含拒绝判决的最小损失判决含拒绝判决的最小损失判决cecrttPtPxpxp)()1)()()(1221如果如果 1x则判则
35、判)1)()()()(1221tPtPxpxp如果如果2x则判则判684.34.3最小最大损失准则最小最大损失准则第四章第四章 统计判决统计判决69)()()(2112xpxpxl)()(12PP12x最小误判概率准则最小误判概率准则)()()()(111212221221PPxpxp21x最小损失准则最小损失准则tPtPxpxp)()1)()()(12211x)1)()()()(1221tPtPxpxp2xtPtPxpxptPtP)()1)()()()1)()(122112拒判拒判拒拒绝绝判判决决的的最最小小损损失失70tPtPxpxp)()1)()()(12211x)1)()()()(12
36、21tPtPxpxp2xtPtPxpxptPtP)()1)()()()1)()(122112拒判拒判拒拒绝绝判判决决的的最最小小损损失失cecrtrec拒判损失拒判损失误判损失误判损失正确判决损失正确判决损失71最小最大损失准则最小最大损失准则的基本思想：的基本思想： 实际中，类先验概率实际中，类先验概率 P P( ( i i) ) 往往不能精确往往不能精确知道或在分析过程中是变动的，从而导致判决知道或在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决在域不是最佳的。所以应考虑如何解决在 P P( ( i i) ) 不确知或变动的情况下使平均损失变大的问题。不确知或变动的情况下
37、使平均损失变大的问题。 应该立足最差的情况争取最好的结果。应该立足最差的情况争取最好的结果。72对于两类问题，设一种分类识别决策将特征空对于两类问题，设一种分类识别决策将特征空间间W分划为两个子空间分划为两个子空间1W和和2W，记，记ij为将实属为将实属i类的模式判为类的模式判为j的损失函数，各种判决的平均损失的损失函数，各种判决的平均损失为为xdxpxxRRW)()(xdxpxxRxdxpxxRWW21)()()()(21xdPxpxdPxpiiiiiiii)()()()(21212211WWWW11)()()()(22211111xdxpPxdxpPWW22)()()()(22221112
38、xdxpPxdxpP73利用利用)(1)(12PP则平均损失可写成则平均损失可写成W1)()(2222122xdxpRWW12)()()()()()(221221111222111xdxpxdxpP)(1bPa由于由于)(1P在在 0 0 和和 1 1 之间取值，所以平均损失值有之间取值，所以平均损失值有baRaWW21)(1)(xdxpxdxpii和和74n由上式可见，当类概密、损失函数ij 、类域Wi 取定后，R是P(1)的线性函数。n考虑P(1)的各种可能取值情况，为此在区间(0,1)中取若干个不同的P(1)值，并分别按最小损失准则确定相应的最佳决策类域W1 、 W2 ，然后计算出其相应
39、的最小平均损失R*，从而可得最小平均损失R*与先验概率P(1)的关系曲线。75PA(1)1 P(1)ACDR*BR*B0DCPB(1)76 如果能求出某个如果能求出某个)()(11BPP，相对于相对于)(1BP的最佳判决的最佳判决类域类域1W和和2W能使该式中的能使该式中的0b，即，即0)()()()()(1222122111122211WWxdxpxdxpb在此决策类域下，无论在此决策类域下，无论)(1P如何变化，因如何变化，因0b而使而使R与与)(1P无关，从而使得平均损失无关，从而使得平均损失R恒等于常数恒等于常数a，即即aRxdxpR*W1)()(2222122求使求使0b的的)(1P
40、等价于在最小平均损失等价于在最小平均损失*R)(1P关系关系中求使中求使0)(1*dPdR的的)(1P，显然，此时的，显然，此时的)(1P使使*R取所有最小损失的最大取所有最小损失的最大值值*mR。所以所以*mR是最大的最小损失。是最大的最小损失。77)()()()()()()()()(2211222111PxpPxpPxpPxpxRjjj具体的设计过程是具体的设计过程是: :(1)(1) 按最小损失准则找出对应于按最小损失准则找出对应于(0,1)(0,1) 中的各个不同值的中的各个不同值的)(1P的最佳决策类域的最佳决策类域1W、2W， (2)(2) 计算相应各个计算相应各个)(1P及最佳决
41、策类域的最小平均损失，得及最佳决策类域的最小平均损失，得*R)(1P曲线，找出使曲线，找出使*R取最大值的取最大值的)(1*P， (3)(3) 运用运用)(1*P、)(11*P及及ij构造似然比阈值并运用最小构造似然比阈值并运用最小损失准则下的决策规则对具体的模式分类识别。损失准则下的决策规则对具体的模式分类识别。 )()()()()()()()()(12121221122PxpxpxpPxpxpxpxRjjjj78最小最大损失判决规则最小最大损失判决规则 为：为：如果如果 )()()(1)()()(111121222121*PPxpxp则判则判21x当采用当采用 0-10-1 损失函数时，由
42、损失函数时，由0b可得可得xdxpxdxp)()(2112WW上式表明，最小最大损失判决所导出的最佳分界面上式表明，最小最大损失判决所导出的最佳分界面应使两类错误概率相等应使两类错误概率相等 , ,可知此时的平均损失可知此时的平均损失W1)(2xdxpR79作业作业P125 4.1 4.2 4.7P125 4.1 4.2 4.7804 44 N-4 N-P(NeymanP(NeymanPearson)Pearson)判决判决第四章第四章 统计判决统计判决81在某些实际问题中，可能存在以下几种情况：在某些实际问题中，可能存在以下几种情况： 不知道各类的先验概率不知道各类的先验概率)(iP ； 难
43、于确定误判的代价难于确定误判的代价ij； 某一种错误较另一种错误更为重要。某一种错误较另一种错误更为重要。针对针对，可以采用最小最大损失准则或令各类概可以采用最小最大损失准则或令各类概率相等的办法克服；率相等的办法克服；针对针对(3)(3)，可以采用最小损失准则判决。针对上，可以采用最小损失准则判决。针对上面的三个问题，更主要的是针对，我们采用面的三个问题，更主要的是针对，我们采用N-PN-P准则准则。针对针对，如果允许的话，可，如果允许的话，可以避开使用损失函数以避开使用损失函数 而采用最小误判概率准则而采用最小误判概率准则；82所谓所谓N-PN-P准则，是严格限制较重要的一类错误概准则，是
44、严格限制较重要的一类错误概率令其等于某常数而使另一类误判概率最小。率令其等于某常数而使另一类误判概率最小。 对两类问题，对两类问题，0)( xd 将特征空间将特征空间W W分成两分成两 个子空间个子空间1W W和和2W W，其中，其中W W W WW W21U U， W WW W21I I。 当一模式特征点当一模式特征点1W W x 时，指判时，指判1 x ；当当2W W x 时，指判时，指判2 x 。83将实属将实属1类的模式类的模式x判属判属2类的误判概率为类的误判概率为W2)(112xdxp将实属将实属2类的模式判属类的模式判属1类的误判概率为类的误判概率为W1)(221xdxp N-P
45、N-P准则是在使某一类误判概率等于常数的准则是在使某一类误判概率等于常数的约束下使另一类误判概率最小。约束下使另一类误判概率最小。 84令令021常数，求常数，求使使12最小。运用最小。运用拉格朗日拉格朗日乘乘数法求条件极值，为此作辅助函数数法求条件极值，为此作辅助函数:)(02112yWW02112)()(xdxpxdxpW1)()()1 (210 xdxpxp85郎格朗日乘数法郎格朗日乘数法: : 在条件极值问题中在条件极值问题中, , 满足条件满足条件 g(xg(x, y) = 0 , y) = 0 下，去寻求函数下，去寻求函数 f(xf(x, y) , y) 的极值。的极值。 对三变量
46、函数对三变量函数 F(xF(x, y, ) = , y, ) = f(xf(x, y) + , y) + g(xg(x, y) , y) 分别求分别求F F对三变量的偏导对三变量的偏导, ,并联立方程式并联立方程式 F F = = g(xg(x, y) = 0 , y) = 0 F Fx x = = f fx x (x, y) + (x, y) + ggx x (x, y) = 0 (x, y) = 0 F Fy y = = f fy y (x, y) + (x, y) + ggy y (x, y) = 0 (x, y) = 0 求得的解求得的解 (x, y) (x, y) 就成为极值的候补。
47、就成为极值的候补。 这样求极值的方法就叫做拉格朗日乘数法、这样求极值的方法就叫做拉格朗日乘数法、叫叫做拉格朗日乘数。做拉格朗日乘数。 86求求1W使使y取极小值。取极小值。W1)()()1 (210 xdxpxpy1W无法直接用解析的办法求得。无法直接用解析的办法求得。 一般地讲，一般地讲，但注意到但注意到在式子中是确定的，在式子中是确定的，)(1xp、)(2xp在在W空间中也是确定的，如果选择满足条件空间中也是确定的，如果选择满足条件0)()(21xpxp的的x的全体作为的全体作为*W1这时所求得的这时所求得的y值值*y比比1W的其它取法时的的其它取法时的y值要小。值要小。 就能保证就能保证
48、因为这种取法下因为这种取法下, , 是使被积函数取正数的最大的域。是使被积函数取正数的最大的域。*W187，*W1如前定义如前定义这时的这时的y值为值为12111) )()() )()()1 (21210WWW*xdxpxpxdxpxpy xdxpxpxdxpxpy) )()() )()(12112121WW*121111)(WWWW*WW111*WW212上有上有0)()(21xpxp于是在于是在11W在在上有上有0)()(21xpxp12W上式中第二项的积分为正值，第三项的积分为负值。上式中第二项的积分为正值，第三项的积分为负值。* yy显然显然88同理同理, , 由由W2) )()()(
49、210 xdxpxpy因此选择满足条件因此选择满足条件0)()(21xpxpx的全体的全体 作为作为*W1选择满足条件选择满足条件0)()(21xpxpx的全体的全体 作为作为*W2在在1W中中 0)()(21xpxp在在2W中中 0)()(21xpxp综上，即：综上，即：89于是将其中一类错误概率作为控制量而使另一类于是将其中一类错误概率作为控制量而使另一类错误概率最小错误概率最小的的N-N-P P判决规则为：判决规则为：上式中上式中，是判决阈值是判决阈值。如果如果，)()(21xpxp则判则判 21x可以看出，可以看出，N-PN-P判决规则的形式和最小误判判决规则的形式和最小误判概率准则及
50、最小损失准则的形式相同，只是似然概率准则及最小损失准则的形式相同，只是似然比阈值不同。比阈值不同。 90这里这里是由下列关系式确定：是由下列关系式确定：02211)(Wxdxp即适当地选取即适当地选取以保证使以保证使021，因此，因此的值决定着类域的值决定着类域1W、2W。这里这里)(2lp为似然比为似然比l的条件概密。的条件概密。，令，令)()()(21xpxpxl为求为求因当因当l时就判时就判1x，所以当，所以当0给定后，给定后，可由式可由式0)(221)(dllp确定。确定。拉格朗日乘子拉格朗日乘子911221xp(l|2)p(l|1) 的值决定着类域的值决定着类域1W、2W，这里的，这
