1、2021/7/261(最新整理最新整理)贝叶斯决策理论与统计判决方法贝叶斯决策理论与统计判决方法2021/7/2622021/7/263 在前一章中已提到，模式识别是一种分类问题，即根据识在前一章中已提到，模式识别是一种分类问题，即根据识别对象所呈现的观察值，将其分到某个类别中去。统计决别对象所呈现的观察值，将其分到某个类别中去。统计决策理论是处理模式分类问题的基本理论之一，对模式分析策理论是处理模式分类问题的基本理论之一，对模式分析和分类器的设计起指导作用。贝叶斯决策理论是统计模式和分类器的设计起指导作用。贝叶斯决策理论是统计模式识别中的一个基本方法，我们先讨论这一决策理论，然后识别中的一个
2、基本方法，我们先讨论这一决策理论，然后讨论涉及统计判别方法的一些基本问题。讨论涉及统计判别方法的一些基本问题。2021/7/264设想有一个鱼类的加工厂，希望能将传送带上的鱼的品种的分类过程自设想有一个鱼类的加工厂，希望能将传送带上的鱼的品种的分类过程自动进行。比如通过光学感知手段，架设一台摄像机，拍摄若干样品的图动进行。比如通过光学感知手段，架设一台摄像机，拍摄若干样品的图像，来区分鲑鱼（像，来区分鲑鱼（salmon）和鲈鱼（）和鲈鱼（sea bass）.2021/7/265识别过程：识别过程：数据获取：架设一个摄像机，采集一些样本图像，获取样本数据数据获取：架设一个摄像机，采集一些样本图像
3、，获取样本数据 预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之预处理：去噪声，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开间分开 特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量某些特征来减少信息量 长度长度 亮度亮度 宽度宽度 鱼翅的数量和形状鱼翅的数量和形状 嘴的位置，等等嘴的位置，等等 分类决策：把特征送入决策分类器分类决策：把特征送入决策分类器2021/7/266例：例：模型模型:鲈鱼通常较鲑鱼长（专家知识）鲈鱼通常较鲑鱼长（专家知识）鲈鱼的典型长度是鲈鱼的典型长度是Lb鲑鱼的典型长度是鲑鱼
4、的典型长度是LsLb Ls 分类器分类器:比如比如:鲑鱼鲑鱼 15 critLlengthBass 0(A)0，P P(B(Bi i)0)0，(i=1,2,(i=1,2,n),n)，则，则:)()()|()()|()()|()|(1APBPBAPBPBAPBPBAPABPiinjjjiii“概率论概率论”有关概念复习有关概念复习)()()()(iiiBAPBPABPAP2021/7/2622B1SB2B3B4A划分划分示意图示意图“概率论概率论”有关概念复习有关概念复习)()()()(iiiBAPBPABPAP2021/7/2623老师出了一道老师出了一道5选题，选题，5个选项中只有一个是正确
5、的选择。个选项中只有一个是正确的选择。假定某学生知道正确答案的概率为假定某学生知道正确答案的概率为1/2，如果他最后选对了，如果他最后选对了，问他确实知道答案的概率是多少问他确实知道答案的概率是多少?解：解：设设 A事件为事件为知道答案知道答案，B事件为事件为选择正确选择正确，由题意可知：由题意可知：由全概率公式由全概率公式:P(B|A)=1/5，P(B|A)=1，P(A)=1/2P(B)=P(B|A)XP(A)+P(B|A)XP(A)=1X1/2+1/5X1/2=0.62021/7/2624这说明老师们依据试卷成绩来衡量学生平时的学习状况这说明老师们依据试卷成绩来衡量学生平时的学习状况还是有
6、科学依据的。还是有科学依据的。利用贝叶斯公式可以得到利用贝叶斯公式可以得到:2021/7/2625测谎仪是用来检测一个人是否说谎的仪器，经常被用于征兵、安全部门的测谎仪是用来检测一个人是否说谎的仪器，经常被用于征兵、安全部门的筛查、侦破、诉讼等领域。定义事件筛查、侦破、诉讼等领域。定义事件T=测谎仪检测到一个人在说谎测谎仪检测到一个人在说谎，L=一个人真正在说谎一个人真正在说谎。根据统计数据根据统计数据P(T|L)=0.88，P(T|L)=0.86。看起来，测谎仪。看起来，测谎仪是比较精确的。问题是：在一次试验中，检测出被测对象在说谎，他真正是比较精确的。问题是：在一次试验中，检测出被测对象在
7、说谎，他真正在说谎的概率有多大？在说谎的概率有多大？解：按照上面所给资料，很多人都会认为这个人说谎的概率会很高。假如根据统解：按照上面所给资料，很多人都会认为这个人说谎的概率会很高。假如根据统计，在人群中撒谎的人所占比例为百分之一，即先验概率计，在人群中撒谎的人所占比例为百分之一，即先验概率P(L)=0.01，根据全，根据全概率公式可以计算出：概率公式可以计算出：P(T)=P(L)XP(T|L)+P(L)XP(T|L)=0.01X0.88+0.99X0.14=0.1474再根据贝叶斯公式：再根据贝叶斯公式：P(L|T)=P(L)XP(T|L)/P(T)=0.01X0.88/0.14740.06
8、2021/7/2626从计算结果来看，从计算结果来看，94%的检测都是错误的。问题出在哪里呢？的检测都是错误的。问题出在哪里呢？问题在于先验概率问题在于先验概率P(L)。普通人群对于测试的撒谎率是很低的，因此测谎仪的结果并不能告诉你普通人群对于测试的撒谎率是很低的，因此测谎仪的结果并不能告诉你一个普通人是否撒了谎。一个普通人是否撒了谎。然而，如果这一检验用于罪犯（嫌疑犯），由于罪犯对于特定问题说谎然而，如果这一检验用于罪犯（嫌疑犯），由于罪犯对于特定问题说谎的概率很高（也许是不得不撒谎，比如警察问：你有没有干坏事？罪犯的概率很高（也许是不得不撒谎，比如警察问：你有没有干坏事？罪犯的回答是：嗯，
9、这个么，也许，大概，可能，是这样的的回答是：嗯，这个么，也许，大概，可能，是这样的），假设），假设P(L)=0.5，这时我们可以得到，这时我们可以得到P(L|T)=0.86，这个概率还是可以接，这个概率还是可以接受的。受的。2021/7/2627条件概率条件概率“概率论概率论”有关概念复习有关概念复习)()()()(iiixpPxPxp)()()()(iiiBAPBPABPAP先验概率：先验概率：P(i)表示类表示类 i出现的先验概率，简称类出现的先验概率，简称类 i的概率。的概率。后验概率：后验概率：P P(i i|x)|x)表示表示x x出现条件下类出现条件下类 i i出现的概率出现的概率
10、,称其为类别的称其为类别的后验概率后验概率，对于模式识别来讲可理解为对于模式识别来讲可理解为x x来自类来自类 i i的概率。的概率。类条件概率密度：类条件概率密度：p(x|(x|i i)表示在类表示在类 i i条件下的概率密度，即类条件下的概率密度，即类 i i模式模式x x的概率的概率分布密度，简称为分布密度，简称为类条件概率密度类条件概率密度。2021/7/2628一般说来，一般说来，c类不同的物体应该具有各不相同的属性，在类不同的物体应该具有各不相同的属性，在d维特征空间，维特征空间，各自有不同的分布。当某一特征向量值各自有不同的分布。当某一特征向量值X只为某一类物体所特有，即只为某一
11、类物体所特有，即 对其作出决策是容易的，也不会出什么差错。问题在于出现模棱两可的对其作出决策是容易的，也不会出什么差错。问题在于出现模棱两可的情况。此时，任何决策都存在判错的可能性。这里讨论的是使错误率为情况。此时，任何决策都存在判错的可能性。这里讨论的是使错误率为最小的决策方法，称为基于最小错误率的贝叶斯决策理论。最小的决策方法，称为基于最小错误率的贝叶斯决策理论。2021/7/2629最小错误率是在统计的意义上说的，请注意其含义。最小错误率是在统计的意义上说的，请注意其含义。在这里要弄清楚条件概率这个概念。在这里要弄清楚条件概率这个概念。P(*|#)是条件概率的通用符号，在是条件概率的通用
12、符号，在“|”后边出现的后边出现的#为条件，之前的为条件，之前的*为某个事件，即在某条件为某个事件，即在某条件#下出现某下出现某个事件个事件*的概率。的概率。P(K|X)是表示在是表示在X出现条件下，样本为出现条件下，样本为K类的概类的概率。率。一个事物在某条件下出现的概率一个事物在某条件下出现的概率P(*|#)与该事件在不带任何条件下出现与该事件在不带任何条件下出现的概率的概率(写成写成P(*)是不相同的。例如全世界人口有是不相同的。例如全世界人口有60亿。因此你见到亿。因此你见到一个人在不带任何条件下，有一个人在不带任何条件下，有20%的可能性是中国人的可能性是中国人P(*)=0.2，但是
13、，但是如果你在中国，或香港、台湾，那么中国、香港、台湾都是指一种条件如果你在中国，或香港、台湾，那么中国、香港、台湾都是指一种条件(#)，这种地理条件下，你所见到的某一个人是中国人，这种地理条件下，你所见到的某一个人是中国人(*)的概率就要大的概率就要大得多，此时得多，此时P(*|#)就应该大于就应该大于20%,甚至更多了。甚至更多了。2021/7/2630对于两类对于两类 1 1，2 2问题，直观地，可以根据后验概率做判决：问题，直观地，可以根据后验概率做判决：121122 (|)(|)(|)(|)p xp xxp xp xx若则若则21(|)()(|)()(|)()(|)()iiiiiii
14、ip xPp xPpxp xp xP Bayes法则最大后验概率准则法则最大后验概率准则根据根据Bayes公式，后验概率公式，后验概率 可由类可由类 i的先验概率的先验概率P(i)和条件概率密度和条件概率密度 来表示，即来表示，即(/)ipx(/)ip x2021/7/2631将将P(i|x)代入判别式，判别规则可表示为代入判别式，判别规则可表示为1122111222 (|)()(|)()(|)()(|)()p x Pp x Pxp x Pp x Px若则若则或改写为或改写为212122112112122112 )()()|()|()()()|()|(xPPxpxplxPPxpxpl则则l12
15、称为称为似然比似然比（likelihood ratio），），12称为似然比的判决阀值。称为似然比的判决阀值。原则：要确定原则：要确定x x是属于是属于11类还是类还是22类，要看类，要看x x是来自于是来自于11类的概率大还是类的概率大还是来自来自22类的概率大。类的概率大。2021/7/2632已知：已知：（统计结果）（统计结果）先验概率：先验概率：P(1 1)=1/3)=1/3（鲈鱼出现的概率）（鲈鱼出现的概率）P(2 2)=1-)=1-P(1 1)=2/3)=2/3（鲑鱼出现的概率鲑鱼出现的概率）条件概率条件概率：p(x|1 1)见图示见图示（鲈鱼的长度特征分布概率）（鲈鱼的长度特征分
16、布概率）p(x|2 2)见图示见图示（鲑鱼的长度特征分布概率）（鲑鱼的长度特征分布概率）求：后验概率求：后验概率：P(|x=10)=?（如果一条鱼如果一条鱼x x1010，是什么类别？），是什么类别？）2021/7/2633解法解法1 1：111111122(10|)()(|10)()(|)()(|)()(|)()0.05 1/3 0.0480.05 1/30.502/3p xPPxp xp xPp xPp xP10101010利用利用Bayes公式公式2021/7/2634写成似然比形式写成似然比形式1122212112122(|)0.05100.1(|)0.50()2/32()1/3 ,p
17、 xlxp xPPlxx10（）10判决阀值（10）即是鲑鱼。解法解法2：2021/7/2635)(1xP)(2xPx条件概率密度分布)(ixP鲈鱼鲈鱼鲑鱼鲑鱼100.050.55.58.52021/7/2636)(1xP)(2xPx2.04.06.08.00.1后验概率分布)(xPi102021/7/2637分别输入分别输入50组男性和女性的身高、体重数据，作为训练集。输入组男性和女性的身高、体重数据，作为训练集。输入300组数据作为测试集，组数据作为测试集，其中其中50组女性数据，组女性数据，250组男性数据。组男性数据。选择不同的先验概率分别做了两组实验：选择不同的先验概率分别做了两组实
18、验：1.设定男性先验概率为设定男性先验概率为0.5，女性先验概率为，女性先验概率为0.5。结果：。结果：男性错误分类（男性错分为女性）数：男性错误分类（男性错分为女性）数：31女性错误分类（女性错分为男性）数：女性错误分类（女性错分为男性）数：1错误率：错误率：10.67%（31+1）/3002021/7/26382.设定男性先验概率为设定男性先验概率为0.5，女性先验概率为，女性先验概率为0.5。结果：结果：男性错误分类（男性错分为女性）数：男性错误分类（男性错分为女性）数：8女性错误分类（女性错分为男性）数：女性错误分类（女性错分为男性）数：6错误率：错误率：4.67%（8+6）/3002
19、021/7/2639由实验结果可见，对于贝叶斯决策的使用，由实验结果可见，对于贝叶斯决策的使用，选择合适的先验概率选择合适的先验概率是必要的，先验概率选择合是必要的，先验概率选择合适，通过贝叶斯决策会得到好的分类结果，反之，则会影响分类结果。适，通过贝叶斯决策会得到好的分类结果，反之，则会影响分类结果。2021/7/2640假设每个要识别的细胞已作过预处理，并抽取出了假设每个要识别的细胞已作过预处理，并抽取出了d个特征描述量，用个特征描述量，用一个一个d维的特征向量维的特征向量X表示，识别的目的是要依据该表示，识别的目的是要依据该X向量将细胞划分为向量将细胞划分为正常细胞或者异常细胞。这里我们
20、用正常细胞或者异常细胞。这里我们用表示是正常细胞，而表示是正常细胞，而则属于则属于异常细胞。异常细胞。类别的状态是一个随机变量，而某种状态出现的概率是可以估计的。概类别的状态是一个随机变量，而某种状态出现的概率是可以估计的。概率的估计包含两层含义，一是由统计资料表明，正常细胞与异常细胞在率的估计包含两层含义，一是由统计资料表明，正常细胞与异常细胞在统计意义上的比例，这称为先验概率统计意义上的比例，这称为先验概率P(1)及及P(2)，另一种则分别，另一种则分别表示所检查细胞呈现出的不同属性的概率密度函数表示所检查细胞呈现出的不同属性的概率密度函数P(x|1)和和P(x|2)，显然在一般情况下正常
21、细胞占比例大，即，显然在一般情况下正常细胞占比例大，即P(1)P(2)，因此如果我们不对具体的细胞化验值作仔细观察，我，因此如果我们不对具体的细胞化验值作仔细观察，我们作出该细胞是正常细胞的判决，在统计的意义上来说，也就是平均意们作出该细胞是正常细胞的判决，在统计的意义上来说，也就是平均意义上说，错判可能性比判为异常细胞时小。但是仅按先验概率来决策，义上说，错判可能性比判为异常细胞时小。但是仅按先验概率来决策，就会把所有细胞都划归为正常细胞，并没有达到将正常细胞与异常细胞就会把所有细胞都划归为正常细胞，并没有达到将正常细胞与异常细胞区分开的目的。这表明由先验概率所提供的信息太少。区分开的目的。
22、这表明由先验概率所提供的信息太少。2021/7/2641为此我们还必须利用对细胞作病理分析所观测到的信息，也就是所抽取到的为此我们还必须利用对细胞作病理分析所观测到的信息，也就是所抽取到的d维维观测向量。为简单起见，我们假定只用其一个特征进行分类，即观测向量。为简单起见，我们假定只用其一个特征进行分类，即d=1，并已知，并已知这两类的类条件概率密度函数分布，如图所示，其中这两类的类条件概率密度函数分布，如图所示，其中P(x|1)是正常细胞的属是正常细胞的属性分布，性分布，P(x|2)是异常细胞的属性分布。那末，当观测向量为是异常细胞的属性分布。那末，当观测向量为X值时，它属值时，它属于各类的概
23、率又是多少呢于各类的概率又是多少呢?为此我们利用贝叶斯公式为此我们利用贝叶斯公式,来计算后验概率来计算后验概率P(i|X)。2021/7/2642上例中图上例中图2.1表示的类条件概率可用式表示的类条件概率可用式(2-1)换算成如图换算成如图2.2所示的后验所示的后验概率分布。可以看出，在概率分布。可以看出，在X值小时，细胞被判为正常是比较合理的，判值小时，细胞被判为正常是比较合理的，判断错误的可能性小。基于最小错误概率的贝叶斯决策理论就是按后验概断错误的可能性小。基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的。率的大小作判决的。2021/7/2643假设在某地区切片细胞中正常假
24、设在某地区切片细胞中正常(1)和异常和异常()两类的先验概率分别为两类的先验概率分别为P(1)=0.9，P(2)=0.1。现有一待识别细胞呈现出状态。现有一待识别细胞呈现出状态x，由其类条件概，由其类条件概率密度分布曲线查得率密度分布曲线查得p(x|1)=0.2，p(x|)=0.4，试对细胞，试对细胞x进行分类。进行分类。解：利用贝叶斯公式，分别计算出状态为解：利用贝叶斯公式，分别计算出状态为x时时1与与的后验概率的后验概率根据贝叶斯决策根据贝叶斯决策(2-2)则有则有P(1|x)0.818P(|x)0.0182因此判定该细胞为正常细胞比较合理。因此判定该细胞为正常细胞比较合理。2021/7/
25、2644从这个例子可以看出，尽管类别从这个例子可以看出，尽管类别呈现出状态呈现出状态x的条件概率要高于的条件概率要高于1类呈现此类呈现此状态的概率，但是考虑到状态的概率，但是考虑到P(1)远大于远大于P()，因此状态，因此状态x属于类别属于类别1的可能的可能性远比属于类别性远比属于类别的可能性大。将该细胞判为正常在统计的意义上讲出错率要的可能性大。将该细胞判为正常在统计的意义上讲出错率要小得多。小得多。由于统计判别方法是基于统计参数作出决策，因此错误率也只能从平均的意义由于统计判别方法是基于统计参数作出决策，因此错误率也只能从平均的意义上讲，表示为在观测值可能取值的整个范围内错识率的均值。在连
26、续条件下，上讲，表示为在观测值可能取值的整个范围内错识率的均值。在连续条件下，平均错误率，以平均错误率，以P(e)表示，应有表示，应有其中其中p(e,x)表示错误率为表示错误率为e观测值为观测值为x的联合概率密度，的联合概率密度，P(e|x)是观测值为是观测值为x时的条件错误概率密度函数，时的条件错误概率密度函数，P(x)为为x值出现的概率，而积分运算则表示为在值出现的概率，而积分运算则表示为在整个整个d维特征空间上的总和。在此一维情况下，维特征空间上的总和。在此一维情况下，x取从取从到到+的整个范围。的整个范围。2021/7/2645在两类别问题中，按在两类别问题中，按(2-2)式给出的决策
27、规则，当式给出的决策规则，当P(w2|x)p(w1|x)时决时决策为策为w2。显然这个决策意味着，对观测值。显然这个决策意味着，对观测值x有有P(w1|x)概率的错误率。例如在概率的错误率。例如在上例中所作的上例中所作的w1决策，实际上包含有决策，实际上包含有P(w2|x)=0.182的错误概率。在两类的错误概率。在两类别的情况下，可以将别的情况下，可以将p(e|x)表示成当表示成当如果我们把作出如果我们把作出w1决策的所有观测值区域称为决策的所有观测值区域称为R1，则在，则在R1区内的每个区内的每个x值，条值，条件错误概率为件错误概率为p(w2|x)。另一个区。另一个区R2中的中的x,条件错
28、误概率为条件错误概率为p(w1|x)。因此。因此平均错误率平均错误率P(e)可表示成可表示成2021/7/2646由于在由于在R1区内任一个区内任一个x值都有值都有P(w2|x)P(w1|x)，同样在，同样在R2区内任一个区内任一个x值都有值都有P(w1|x)P(w2|x),错误率在每个错误率在每个x值处都取小者，因而平均错误率值处都取小者，因而平均错误率P(e)也必然达到最小，这就证明了按也必然达到最小，这就证明了按(2-2)式作出的决策，其平均错误率为最式作出的决策，其平均错误率为最小。小。2021/7/2647图图2.3表示了在某种概率分布下表示了在某种概率分布下R1与与R2区的分布情况
29、，该图分别画出区的分布情况，该图分别画出p(x1)P(1)及及p(x2)P(2)的分布情况，由于的分布情况，由于P(e)也可以也可以(2-8)式写成式写成因此错误率为图中两个划线部分之和，显而易见只有这种划分才能使对应的错因此错误率为图中两个划线部分之和，显而易见只有这种划分才能使对应的错误率区域面积为最小。误率区域面积为最小。2021/7/2648)()(11Pxp)()(22Pxp212)(P121)(P2021/7/26492021/7/2650最小误判概率准则下的判决规则：最小误判概率准则下的判决规则：如果，如果，则判则判)()(11xpP)()(22xpP21x12x)()()(21
30、12xpxpxl)()(12PP或等价地，或等价地，如果，如果，则判则判2021/7/2651)(1xP)(2xP21x另一个等价形式是：另一个等价形式是：如果如果 则判则判)()()()(iiixpPxPxp由贝叶斯定理由贝叶斯定理2021/7/2652对于多类问题，对于多类问题，最小误判概率准则最小误判概率准则有如下有如下几种等价的判决规则几种等价的判决规则:若若 ，则判，则判 若若 ，则判，则判)()(xPxPjiij ix)(xPi)(maxxPjjix（后验概率形式）（后验概率形式）若若 ，则判，则判 若若 ，则判，则判（条件概率形式）（条件概率形式）)()()()(jjiiPxpP
31、xpij ix)()(iiPxp)()(maxjjjPxpix若若 ，,则判则判 ijijjiijPPxpxpxl)()()()()(ij ix（似然比形式）（似然比形式）如果如果 ，则判则判（条件概率的对数形式）（条件概率的对数形式）)(ln)(ln)(ln)(lnjjiiPxpPxpij ix2021/7/2653上面我们讨论了使错误率最小的贝叶斯决策规则。然而当接触到实际问题上面我们讨论了使错误率最小的贝叶斯决策规则。然而当接触到实际问题时，可以发现使错误率最小并不一定是一个普遍适用的最佳选择。时，可以发现使错误率最小并不一定是一个普遍适用的最佳选择。譬如，在上面讨论过的细胞分类的例子中
32、，把正常细胞错分为癌细胞，或譬如，在上面讨论过的细胞分类的例子中，把正常细胞错分为癌细胞，或相反方向的错误，其严重性是截然不同的。把正常细胞误判为异常细胞固相反方向的错误，其严重性是截然不同的。把正常细胞误判为异常细胞固然会给人带来不必要的痛苦，但若将癌细胞误判为正常细胞，则会使病人然会给人带来不必要的痛苦，但若将癌细胞误判为正常细胞，则会使病人因失去及早治疗的机会而遭受极大的损失。因失去及早治疗的机会而遭受极大的损失。由此可见，根据不同性质的错误会引起不同程度的损失这一考虑出发，我由此可见，根据不同性质的错误会引起不同程度的损失这一考虑出发，我们宁肯扩大一些总的错误率，但也要使总的损失减少。
33、这会引进一个与损们宁肯扩大一些总的错误率，但也要使总的损失减少。这会引进一个与损失有关联的，更为广泛的概念失有关联的，更为广泛的概念风险。在作出决策时，要考虑所承担的风险。在作出决策时，要考虑所承担的风险。基于最小风险的贝叶斯决策规则正是为了体现这一点而产生的。风险。基于最小风险的贝叶斯决策规则正是为了体现这一点而产生的。2021/7/2654在讨论基于风险的决策方法的具体内容之前，让我们首先回顾一下上一节讨论的在讨论基于风险的决策方法的具体内容之前，让我们首先回顾一下上一节讨论的基于最小错误概率的决策方法。从式基于最小错误概率的决策方法。从式(2-10)可以看出，在分类时所作的判决可以看出，
34、在分类时所作的判决(称称之为决策之为决策)单纯取决于观测值单纯取决于观测值X对各类的后验概率的最大值，因而也就无法估计作对各类的后验概率的最大值，因而也就无法估计作出错误决策所带来的损失。为此不妨将作出判决的依据从单纯考虑后验概率最大出错误决策所带来的损失。为此不妨将作出判决的依据从单纯考虑后验概率最大值，改为对该观测值值，改为对该观测值X条件下各状态后验概率求加权和的方式，表示成条件下各状态后验概率求加权和的方式，表示成其中其中 表示观测样本表示观测样本X实属类别实属类别j,而被判为状态而被判为状态i时所造成的损失，时所造成的损失，Ri则表示了则表示了观测值观测值X被判为被判为i类时损失的均
35、值。如果我们希望尽可能避免将某状态类时损失的均值。如果我们希望尽可能避免将某状态j,错判为错判为状态状态i,则可将相应的则可将相应的 值选择得大些，以表明损失的严重性。加权和值选择得大些，以表明损失的严重性。加权和Ri用来衡用来衡量观测样本量观测样本X被判为状态被判为状态i所需承担的风险。而究竟将所需承担的风险。而究竟将X判为何类则应依据所有判为何类则应依据所有Ri,(i=1,c)中的最小值，即最小风险来定。中的最小值，即最小风险来定。2021/7/2655比如，我们见到一个病理切片比如，我们见到一个病理切片X，要确定其中有没有癌细胞，要确定其中有没有癌细胞(用用1表示正常，表示正常，2表示异
36、常表示异常)，则，则P(1|X)与与P(2|X)分别表示了两种可能性的大小。如果分别表示了两种可能性的大小。如果X确实确实是癌细胞是癌细胞(2)，但被判作正常，但被判作正常(1)，则会有损失，这种损失用，则会有损失，这种损失用 表示，表示，X确实确实是正常是正常(1)，却被判定为异常，却被判定为异常(2)，则损失表示成，则损失表示成 ，另外为了使式子写的更，另外为了使式子写的更方便，我们也可以定义方便，我们也可以定义 与与 ，是指正确判断也可有损失。那么把是指正确判断也可有损失。那么把X判作判作1引进的损失应该与引进的损失应该与 以及以及 都有关，哪一个占主要成分，则取决于都有关，哪一个占主要
37、成分，则取决于P(1|X)与与P(2|X)。因此变成了一个加权和。因此变成了一个加权和 同样将同样将X判为判为2的风险就成为的风险就成为 此时作出哪一种决策就要看是此时作出哪一种决策就要看是R1(X)小还是小还是R2(X)小了，这就是基于最小风小了，这就是基于最小风险的贝叶斯决策的基本出发点。险的贝叶斯决策的基本出发点。2021/7/2656(1)自然状态与状态空间。其中自然状态是指待识别对象的类别，而状态空间自然状态与状态空间。其中自然状态是指待识别对象的类别，而状态空间则是由所有自然状态所组则是由所有自然状态所组成的空间，成的空间，=1，2，c(2)决策与决策空间。在决策论中，对分类问题所
38、作的判决，称之为决策，由所有决策组成的空间称为决决策与决策空间。在决策论中，对分类问题所作的判决，称之为决策，由所有决策组成的空间称为决策空间。决策不仅包括根据观测值将样本划归哪一类别策空间。决策不仅包括根据观测值将样本划归哪一类别(状态状态)，还可包括其它决策，如，还可包括其它决策，如“拒绝拒绝”等，因此等，因此决策空间内决策总数决策空间内决策总数a可以不等于类别数可以不等于类别数c,表示成表示成(3)损失函数损失函数(i|j)(或写成或写成(i,j)。这就是前面引用过的。这就是前面引用过的 。它表示对自然状态。它表示对自然状态j，作出决策，作出决策i时所造成的损失。时所造成的损失。(4)观
39、测值观测值X条件下的期望损失条件下的期望损失R(i|X),i=1,2,a(2-14)这就是前面引用的符号这就是前面引用的符号Ri，也称为条件风险。，也称为条件风险。与式与式(2-10)类似，最小风险贝叶斯决策规则可写成：类似，最小风险贝叶斯决策规则可写成：如果如果 ,则则=k(2-15)但与但与(2-10)式不同的是，这里计算的是最小值。式不同的是，这里计算的是最小值。与基于最小错误概率的决策方法中所引用的平均错误率与基于最小错误概率的决策方法中所引用的平均错误率P(e)相类似，在这里引入一个期望风险相类似，在这里引入一个期望风险R，(2-16)它表示对所有它表示对所有X取值所作的决策取值所作
40、的决策(X)所带来的平均风险。当所采取的每一个决策都使其条件风险最小，则所带来的平均风险。当所采取的每一个决策都使其条件风险最小，则对所有的对所有的X所作的决策，其期望风险也必然最小。所作的决策，其期望风险也必然最小。2021/7/2657对于实际问题，最小风险贝叶斯决策可按下列步骤进行：对于实际问题，最小风险贝叶斯决策可按下列步骤进行：(1)在已知在已知P(i)，P(X|i)，i=1,，c及给出待识别的及给出待识别的X的情况下，根据贝的情况下，根据贝叶斯公式计算出后验概率：叶斯公式计算出后验概率：j=1,，x(2)利用计算出的后验概率及决策表，按式利用计算出的后验概率及决策表，按式(2-14
41、)计算出采取计算出采取i,i=1,，a的的条件风险条件风险 ,i=1,2,a(3)对对(2)中得到的中得到的a个条件风险值个条件风险值R(i|X),i=1,，a进行比较，找出使条件进行比较，找出使条件风险最小的决策风险最小的决策k，则，则k就是最小风险贝叶斯决策。就是最小风险贝叶斯决策。2021/7/2658在上例条件的基础上，已知在上例条件的基础上，已知11=0,(11表示表示(1|1)的简写的简写)，12=6,21=1，22=0，按最小风险贝叶斯决策进行分类。，按最小风险贝叶斯决策进行分类。解：已知条件为解：已知条件为P(1)0.9,P(2)0.1p(X|1)0.2,p(X|2)0.411
42、0,126,211,220 根据根据2.1的计算结果可知后验概率为的计算结果可知后验概率为P(1|X)0.818,P(2|X)0.182再按式再按式(2-14)计算出条件风险计算出条件风险由于由于R(1|X)R(2|X)即决策为即决策为2的条件风险小于决策为的条件风险小于决策为1的条件风险，因此应采取决策行动的条件风险，因此应采取决策行动2，即，即判待识别的细胞判待识别的细胞X为为2类类异常细胞。异常细胞。2021/7/2659将本例与前例相对比，其分类结果正好相反，这是因为影响决策结果的因素又多了一个将本例与前例相对比，其分类结果正好相反，这是因为影响决策结果的因素又多了一个“损损失失”。由
43、于两类错误决策所造成的损失相差很悬殊，因此。由于两类错误决策所造成的损失相差很悬殊，因此“损失损失”在这里起了主导作用。在这里起了主导作用。如果只考虑两类别问题，并只有一维特征向量的情况，可以画出一张与图如果只考虑两类别问题，并只有一维特征向量的情况，可以画出一张与图2.3类似的图类似的图2.4，用来表示最小风险贝叶斯决策方法的分类结果。与图用来表示最小风险贝叶斯决策方法的分类结果。与图2.3不同的是，不同的是，R1与与R2两个区域的分界两个区域的分界线不再是线不再是t,而是向左移了一段距离，这是由于损失函数而是向左移了一段距离，这是由于损失函数12比比21大所造成的，在发生位移这大所造成的，
44、在发生位移这一区域内，尽管一区域内，尽管P(x|1)P(1)P(x|2)P(2)，但是为了减少将，但是为了减少将2错判为错判为1所带来的所带来的严重损失，在严重损失，在P(x|2)P(2)尚不很小的情况下，使将尚不很小的情况下，使将2类样本错判为类样本错判为1的可能性减小，的可能性减小，以减小决策所承担的风险。当然平均错误率则明显增大了。以减小决策所承担的风险。当然平均错误率则明显增大了。2021/7/2660以上讨论了几种常用的决策原则，在这些原则的指导下，可以进行分类器的设计。以上讨论了几种常用的决策原则，在这些原则的指导下，可以进行分类器的设计。在讨论分类器设计前，需要说明在分类器设计中
45、使用的一些概念，这就是决策面与在讨论分类器设计前，需要说明在分类器设计中使用的一些概念，这就是决策面与判别函数。判别函数。在前面讨论中曾提到，分类决策实质上是在描述待识别对象的在前面讨论中曾提到，分类决策实质上是在描述待识别对象的d维特征所组成的特维特征所组成的特征空间内，将其划分为征空间内，将其划分为c个决策域，待识别的特征向量落在哪个决策域，该样本就个决策域，待识别的特征向量落在哪个决策域，该样本就被判为哪一类。因此决策域的边界面就是决策面，在数学上用解析形式表示成决策被判为哪一类。因此决策域的边界面就是决策面，在数学上用解析形式表示成决策面方程。用于表达决策规则的某些函数则称为判别函数。
46、显然判别函数与决策面方面方程。用于表达决策规则的某些函数则称为判别函数。显然判别函数与决策面方程是密切相关的，并且都是由相应决策规则所确定的。程是密切相关的，并且都是由相应决策规则所确定的。2021/7/2661例如在两类别问题中，按最小错误率作决策时，决策规则的一种形式是例如在两类别问题中，按最小错误率作决策时，决策规则的一种形式是 ，否则，否则 则相应的判别函数就是则相应的判别函数就是 gi(X)P(i|X),i=1,2而决策面方程则可写成而决策面方程则可写成 g1(X)g2(X)此时决策规则也可以写成用判别函数表示的形式此时决策规则也可以写成用判别函数表示的形式如果如果 gi(X)gj(
47、X)i,j=1,2 且且 ij则则Xi，否则，否则 Xj至于多类别情况，则对应于一种决策规则要定义一组判别函数至于多类别情况，则对应于一种决策规则要定义一组判别函数 gi(X)，i=1,2,，c而决策规则可表示成而决策规则可表示成如果如果 ，则将，则将X归于归于i类；类；2021/7/2662决策面是一种统称，当特征空间只是决策面是一种统称，当特征空间只是一维时，一个决策面实际上只是一个一维时，一个决策面实际上只是一个点。在二维特征空间里，决策面是一点。在二维特征空间里，决策面是一条曲线。三维则是一曲面，超过三维条曲线。三维则是一曲面，超过三维的空间，决策面是一个超曲面。图的空间，决策面是一个
48、超曲面。图(a)表示了一个三类别问题用一维特表示了一个三类别问题用一维特征空间时的所有决策边界，而图征空间时的所有决策边界，而图(b)则表示了相应的二维特征空间中的决则表示了相应的二维特征空间中的决策边界。策边界。2021/7/2663在讨论了判别函数等概念后，设计分在讨论了判别函数等概念后，设计分类器的任务就清楚了。分类器可以用类器的任务就清楚了。分类器可以用软件或硬件实现。图软件或硬件实现。图1表示了两类别表示了两类别问题分类器的框图，而图问题分类器的框图，而图2则表示了则表示了多类别分类器的结构框图。两者主要多类别分类器的结构框图。两者主要的不同在于多类别情况需有一个求最的不同在于多类别
49、情况需有一个求最大值的环节，在图大值的环节，在图2中用中用MAX表示，表示，而两类情况则可简化为正负号判别器而两类情况则可简化为正负号判别器(阈值单元阈值单元)。2021/7/2664 分类器设计除了确定结构框图外，问题主要集中在判别函数的选择，使用分类器设计除了确定结构框图外，问题主要集中在判别函数的选择，使用最小风险决策时合理的损失函数的确定。此外贝叶斯决策理论都是基于统计分最小风险决策时合理的损失函数的确定。此外贝叶斯决策理论都是基于统计分布确定的情况下的计算，而统计参数的确定恰恰是最困难的问题。如果要按贝布确定的情况下的计算，而统计参数的确定恰恰是最困难的问题。如果要按贝叶斯决策方法设
50、计分类器，就必须设法获得必需的统计参数，这个问题在此不叶斯决策方法设计分类器，就必须设法获得必需的统计参数，这个问题在此不作讨论，可参看相关的书籍。作讨论，可参看相关的书籍。前面讨论的前面讨论的Bayes决策理论其实是很简单的，对特征空间任一点决策理论其实是很简单的，对特征空间任一点X只要能只要能确定落在该点的样本确定落在该点的样本X属于哪一种类的可能性大，就将这点划分到这类的决策属于哪一种类的可能性大，就将这点划分到这类的决策域。问题是后验概率域。问题是后验概率P(i|X)要通过先验概率和类概率密度函数计算。因为要通过先验概率和类概率密度函数计算。因为Bayes决策是一种通用方法，它只在原理
