1、Bayesian Decision Theory刘芳，戚玉涛刘芳，戚玉涛qi_qi_精选贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯贝叶斯决策常用的准则决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分布的判别函数正态分布的判别函数vBayesianBayesian置信网置信网精选引言引言v机器自动识别分类，能不能避免错分类，做到百分机器自动识别分类，能不能避免错分类，做到百分之百正确？怎样才能减少错误？之百正确？怎样才能减少错误？v错分类往往难以避免，因此就要考虑减小因错分类错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，那么有没有可能对危害大的错误造成的
2、危害损失，那么有没有可能对危害大的错误严格控制？严格控制？v什么是先验概率、类概率密度函数和后验概率？它什么是先验概率、类概率密度函数和后验概率？它们的定义和相互关系如何们的定义和相互关系如何?贝叶斯公式正是体现三贝叶斯公式正是体现三者关系的式子。者关系的式子。精选引言v贝叶斯决策理论贝叶斯决策理论贝叶斯统计决策理论是处理模式分类问题的基本理贝叶斯统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器（论之一，对模式分析和分类器（Classifier）的设）的设计起指导作用。计起指导作用。v贝叶斯决策的两个要求贝叶斯决策的两个要求各个类别的总体概率分布各个类别的总体概率分布(先验概率
3、和类条件概先验概率和类条件概率密度率密度)是已知的是已知的 要决策分类的类别数是一定的要决策分类的类别数是一定的精选引言：12,Tddx xxRxx为为d维维特征向量特征向量。12,ic 精选引言v评价决策有多种标准，对于同一个问题，采用不同评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下的标准会得到不同意义下“最优最优”的决策。的决策。v贝叶斯贝叶斯决策常用的准则：决策常用的准则：最小错误率最小错误率准则准则 最小风险最小风险准则准则 Neyman-Pearson准则准则 最小最大决策准则最小最大决策准则精选贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯贝叶斯决策常用的准则
4、决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分布的判别函数正态分布的判别函数vBayesianBayesian置信网置信网精选Bayes决策准则决策准则v最小错误率最小错误率准则准则v最小风险最小风险准则准则vNeyman-Pearson准则准则v最小最大决策准则最小最大决策准则精选最小错误率准则精选最小错误率准则v先验概率：先验概率：v类条件概率：类条件概率：v后验概率：后验概率：v贝叶斯公式贝叶斯公式iPiPxiPx iiiPPPPxxx i 1ciiPPPxx其中：其中：精选最小错误率准则 例：例：精选最小错误率准则v数学表示：数学表示：表示类别这一随机变量表示
5、类别这一随机变量1：表示患病表示患病2：表示不患病表示不患病 X：表示白细胞浓度这一随机变量表示白细胞浓度这一随机变量 x：表示白细胞浓度值表示白细胞浓度值精选最小错误率准则11220.5%99.5%PPPP 精选最小错误率准则122000,10007000,3000PNPNxx1Px2Px精选最小错误率最小错误率准则准则v最小错误率最小错误率准则准则以先验概率、类条以先验概率、类条件概率密度、特征件概率密度、特征值（向量）为输入值（向量）为输入以后验概率作为类以后验概率作为类别判断的依据别判断的依据贝叶斯公式保证了贝叶斯公式保证了错误率最小错误率最小精选最小错误率准则v最小错误率最小错误率的
6、贝叶斯决策的贝叶斯决策规则为：规则为：1Px2Pxx1=x2?精选最小错误率准则v最小错误率准则的平均错误率：最小错误率准则的平均错误率：x2=x3x2和和x3 都是都是 p(x,1)=p(x,2)的根的根，因此，因此是两类分界是两类分界精选最小错误率准则v最小错误率准则的平均错误率：最小错误率准则的平均错误率：x2=x3，则则 精选最小错误率准则v平均错误率是否最小？平均错误率是否最小？精选最小错误率准则v似然比公式似然比公式1122p xPp xP1212p xppp x12PPxx iiiPPPPxxx则：则：等价于：等价于：似然比公式似然比公式精选最小错误率准则v特例特例1：精选最小错
7、误率准则v特例特例2：精选最小错误率准则v形式逻辑（经典确定性推理）形式逻辑（经典确定性推理）以鲈鱼和鲑鱼分类为例：以鲈鱼和鲑鱼分类为例：假言：如果鱼的长度假言：如果鱼的长度 大于大于45cm，则该鱼为，则该鱼为 鲈鱼鲈鱼 ，否则该鱼为鲑鱼，否则该鱼为鲑鱼前提：现在某条鱼前提：现在某条鱼 结论：该鱼为鲑鱼结论：该鱼为鲑鱼v概率推理（不确定性推理）概率推理（不确定性推理）x38cmx 2 1 2 iPx 精选最小错误率准则v例子：例子：给定给定 ，类条件概率密度如图。，类条件概率密度如图。现有一条鱼现有一条鱼 x=38cm，若采用最小错误率决策，该鱼应该为哪一类？若采用最小错误率决策，该鱼应该为
8、哪一类？1212P yP y111380.16 0.5380.8380.16 0.50.04 0.5p xyP yP yxp x2380.2P yx1y故判决：故判决：精选Bayes决策准则决策准则v最小错误率最小错误率准则准则v最小风险最小风险准则准则vNeyman-Pearson准则准则v最小最大决策准则最小最大决策准则精选最小风险准则v最小风险贝叶斯决策：最小风险贝叶斯决策：考虑各种错误造成损失不考虑各种错误造成损失不同而提出的一种决策规则。同而提出的一种决策规则。v条件风险：条件风险：精选最小风险准则v期望风险：期望风险：对于对于x的不同观察值，采取决策的不同观察值，采取决策i时，时，
9、其条件风险大小是不同的。所以究竟采取哪一种决其条件风险大小是不同的。所以究竟采取哪一种决策将随策将随x的取值而定。这样，决策的取值而定。这样，决策可以看成随机向可以看成随机向量量x的函数，记为的函数，记为(x)。可以定义期望风险。可以定义期望风险Rexp为：为：v期望风险反映对整个空间上所有期望风险反映对整个空间上所有x的取值采取相应的的取值采取相应的决策决策(x)所带来的所带来的平均风险平均风险。expRRpdx xxx精选最小风险准则v两分类问题的例子：两分类问题的例子：精选v似然比公式似然比公式精选最小风险准则v不同的损失函数决定了不同的似然比判决阈不同的损失函数决定了不同的似然比判决阈
10、值值：a：0-1损失损失 b：1221每一类的判决域每一类的判决域可能是不连续的可能是不连续的!精选最小风险准则v最小风险贝叶斯决策的步骤：最小风险贝叶斯决策的步骤：1）根据先验概率和类条件概率计算出后验概率；）根据先验概率和类条件概率计算出后验概率；2）利用后验概率和损失矩阵计算采取每种决策）利用后验概率和损失矩阵计算采取每种决策的条件风险；的条件风险；3）比较各个条件风险的值，条件风险最小的决）比较各个条件风险的值，条件风险最小的决策即为最小风险贝叶斯决策策即为最小风险贝叶斯决策精选最小风险准则精选最小风险准则v对于贝叶斯最小风险决策，如果损失函数为对于贝叶斯最小风险决策，如果损失函数为“
11、0-1损失损失”，即取如下的形式：，即取如下的形式：那么，条件风险为：那么，条件风险为：此时，贝叶斯最小风险决策与最小错误率决策等此时，贝叶斯最小风险决策与最小错误率决策等价。价。0,;,1,1,ijfor ijwi jcfor ij 11ciijjjijj iRPPP xxxx精选Bayes决策准则决策准则v最小错误率最小错误率准则准则v最小风险最小风险准则准则vNeyman-Pearson准则准则v最小最大决策准则最小最大决策准则精选Neyman-Pearson准则准则v最小错误率最小错误率准则准则:后验概率最大化，理论上错误率最小后验概率最大化，理论上错误率最小v最小风险最小风险准则：准
12、则：风险函数最小化，理论上总风险最小风险函数最小化，理论上总风险最小v在先验概率和损失未知的情况下如何决策？在先验概率和损失未知的情况下如何决策？精选Neyman-Pearson准则准则v问题：先验概率和损失未知问题：先验概率和损失未知通常情况下，无法确定损失。通常情况下，无法确定损失。先验概率未知，是一个确定的值先验概率未知，是一个确定的值某一种错误较另一种错误更为重要。某一种错误较另一种错误更为重要。v基本思想：基本思想：要求一类错误率控制在很小，在满足此条件的前要求一类错误率控制在很小，在满足此条件的前提下再使另一类错误率尽可能小。提下再使另一类错误率尽可能小。用用lagrange乘子法
13、求条件极值乘子法求条件极值精选Neyman-Pearson准则准则v对两分类问题，错误率可以写为：对两分类问题，错误率可以写为：v由于由于P(1)和和P(2)对具体问题往往是确定的对具体问题往往是确定的（但是未知），一般称（但是未知），一般称P1(e)和和P2(e)为两类错为两类错误率。误率。P1(e)和和P2(e)的值决定了的值决定了P(e)的值。的值。12121221221122112211,|RRRRP ep xR xp xR xp xpdxp xpdxp xdx pp xdx ppe pp e p精选Neyman-Pearson准则准则精选Neyman-Pearson准则准则v为了求为
14、了求L的极值点，将的极值点，将 L 分别对分别对 t 和和求偏导：求偏导：v注意：这里分析注意：这里分析的是两类错误率，的是两类错误率，与先验概率无关！与先验概率无关！v决策准则决策准则？精选精选Neyman-Pearson准则准则v最小错误率准则的等价形式最小错误率准则的等价形式vNeyman-Pearson准则准则 两者都以似然比为基础，在未知先验概率时使用两者都以似然比为基础，在未知先验概率时使用Neyman-Pearson准则。准则。精选Bayes决策准则决策准则v最小错误率最小错误率准则准则v最小风险最小风险准则准则vNeyman-Pearson准则准则v最小最大决策准则最小最大决策
15、准则精选最小最大决策准则最小最大决策准则vNeyman-Pearson准则准则假定先验概率是一个确定的值假定先验概率是一个确定的值，此时判定结果会受到先验概率的影响。此时判定结果会受到先验概率的影响。v实际中，类先验概率实际中，类先验概率 P P(i i)往往不能精确知道或往往不能精确知道或在分析过程中是变动的，从而导致判决域不是最佳在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决的。所以应考虑如何解决在在 P P(i i)不确知或变动不确知或变动的情况下使期望风险变大的问题的情况下使期望风险变大的问题。v最小最大决策准则：最小最大决策准则：在最差的条件下争取最好的结在最差的
16、条件下争取最好的结果，果，使最大风险最小！使最大风险最小！精选最小最大决策准则最小最大决策准则v分析期望风险分析期望风险 R 与先验概率与先验概率 P(1)的关系：的关系：对于两类问题，设一种分类识别决策将特征对于两类问题，设一种分类识别决策将特征空间空间R划分为两个子空间划分为两个子空间 R1 和和 R2，记，记ij为将属为将属于于 i 类的模式判为类的模式判为j 类的损失函数，各种判决的类的损失函数，各种判决的期望风险为：期望风险为：12111122211222RRRpxpxpxdxpxpxpxdx精选最小最大决策准则最小最大决策准则将将)(1)(12PP和和121iiRRpxdxpxdx
17、带入上式：带入上式：1212111122211222111122211222RRRRRpxpxp x dxpxpxp x dxpx p xpx p xdxpx p xpx p xdx精选最小最大决策准则最小最大决策准则v期望风险可写成：期望风险可写成：12122122221112221111122221RRRRp xdxpp xdxp xdxapbv一旦一旦 R1 和和 R2 确定，确定，a和和b为常数为常数v一旦一旦 R1 和和 R2 确定，确定，R 与与 P(1)成线性关系成线性关系v选择使选择使 b=0 的的R1 和和 R2，期望风险与，期望风险与P(1)无关！无关！精选最小最大决策准则
18、最小最大决策准则PA(1)1 p(1)ACDR*BR*B0DCR1,R2不变不变R1,R2改变改变PB(1)b=0此时最大此时最大风险最小风险最小,D=ab=0 时的时的p(1)精选最小最大决策准则最小最大决策准则v求 b=0 时的时的 p(1)等价于在R随着p(1)的变化曲线上求：10Rp时的时的p(1)。v在在 b=0 时的时的 决策条件下，期望风险与决策条件下，期望风险与p(1)无关，无关，值为值为a，此时，此时，R的最大值最小。这种决策准则称为的最大值最小。这种决策准则称为最小最大决策准则最小最大决策准则。精选最小最大决策准则最小最大决策准则v由于：由于：v当采用当采用0-1损失函数时
19、，损失函数时，b=0可推导出：可推导出：2111222111112222RRbp xdxp xdx2112RRp xdxp xdx此时，最小最大损失判决所导出的最佳分界面应使此时，最小最大损失判决所导出的最佳分界面应使两类错误概率相等！两类错误概率相等！精选贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯贝叶斯决策常用的准则决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分布的判别函数正态分布的判别函数vBayesianBayesian置信网置信网精选分类器，判别函数，决策面分类器，判别函数，决策面v分类器最常用的表述方式为判别函数：分类器最常用的表述方式为判别函数：v基于
20、判别函数的判决基于判别函数的判决,1igxic 每个类别对应一个判别函数。每个类别对应一个判别函数。如果：如果：,ijgxgxi j则模式为则模式为j精选分类器，判别函数，决策面分类器，判别函数，决策面判别函数判别函数Discriminant functions精选分类器，判别函数，决策面分类器，判别函数，决策面v基于最小误差概率的贝叶斯分类器基于最小误差概率的贝叶斯分类器v基于最小总风险的贝叶斯分类器基于最小总风险的贝叶斯分类器 iigxRx iigxpx iiigxp xp loglogiiigxp xp精选分类器，判别函数，决策面分类器，判别函数，决策面v表达同样的判决规则可能采用不同的
21、判别函表达同样的判决规则可能采用不同的判别函数，只要满足数，只要满足 如下条件：如下条件：用用f(gi(x)替换替换gi(x)，其中，其中f(*)为单调递增函数为单调递增函数 例如：例如：v gi(x)k gi(x),k为正常数为正常数v gi(x)gi(x)+k,k为任意常数为任意常数v gi(x)log(gi(x)精选分类器，判别函数，决策面分类器，判别函数，决策面v特殊的，对于两分类问题，也可以只用一个特殊的，对于两分类问题，也可以只用一个判别函数判别函数 令：令：v判决规则判决规则v例如：例如：12g xgxgx如果：如果：0g x 则模式为则模式为1否则为否则为2 12g xpxpx
22、 1122loglogp xpg xpp x精选分类器，判别函数，决策面分类器，判别函数，决策面v判决区域判决区域:判决区域判决区域 Ri 是特征空间中的一个子空间，判决规则是特征空间中的一个子空间，判决规则将所有落入将所有落入 Ri 的样本的样本x分类为类别分类为类别i。v决策面（决策面（Decision Surface）：）：判决边界是特征空间中划分判决区域的（超）平判决边界是特征空间中划分判决区域的（超）平面面在判决边界上，通常有两类或多类的判别函数值在判决边界上，通常有两类或多类的判别函数值相等相等精选分类器，判别函数，决策面分类器，判别函数，决策面v判别函数和决策面：判别函数和决策面
23、：精选分类器，判别函数，决策面分类器，判别函数，决策面分类器分类器设计就设计就是设计是设计判别函判别函数，求数，求出判定出判定面方程面方程g(x)!精选贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯贝叶斯决策常用的准则决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分布的判别函数正态分布的判别函数vBayesianBayesian置信网置信网精选正态分布的统计决策正态分布的统计决策v为什么研究正态分布？为什么研究正态分布？物理上的合理性：较符合很多实际情况，观测值物理上的合理性：较符合很多实际情况，观测值通常是很多种因素共同作用的结果，根据通常是很多种因素共同作用的结果，
24、根据中心中心极限定理极限定理，服从正态分布。，服从正态分布。数学上比较简单：参数个数少数学上比较简单：参数个数少v单变量正态分布单变量正态分布v多元正态分布多元正态分布精选正态分布的统计决策正态分布的统计决策v单变量正态分布密度函数（高斯分布）：单变量正态分布密度函数（高斯分布）：精选正态分布的统计决策正态分布的统计决策v多元正态分布函数多元正态分布函数 11/2/211exp22Tdpxxx 12TdEx，2Tijd dExx ijiijjEEExxxx期望期望(均值向量均值向量)协方差矩阵协方差矩阵(对称非负定对称非负定)12Tdxxxx，精选多元正态分布的性质多元正态分布的性质v参数个数
25、：参数个数：d+d(d+1)/2 均值向量：均值向量：d个参数个参数 协方差矩阵：对称的协方差矩阵：对称的d维矩阵，维矩阵，d(d+1)/2个参数个参数v等密度点的轨迹为一超椭球面等密度点的轨迹为一超椭球面 11/2/211exp22Tdpxxx要使密度要使密度p(x)值不变，需指数项为常数，即：值不变，需指数项为常数，即：1Txx常数超椭球面超椭球面精选多元正态分布的性质多元正态分布的性质v马氏距离马氏距离(Mahanlanobis Distance)(Mahanlanobis Distance)：2111()()()()0nnTijiijjijXXpxx与与 欧式距离：欧式距离：()()T
26、xx不同，马氏距离考虑数据的统计分布，在模式识别不同，马氏距离考虑数据的统计分布，在模式识别中有广泛的用处。中有广泛的用处。精选多元正态分布的性质多元正态分布的性质v正态分布的随机变量，不相关等价于独立正态分布的随机变量，不相关等价于独立v边缘分布仍是正态分布边缘分布仍是正态分布精选多元正态分布的性质多元正态分布的性质v线性变换仍是正态分布线性变换仍是正态分布v线性组合仍是正态分布（线性变换的特例）线性组合仍是正态分布（线性变换的特例）一维正态一维正态随机变量随机变量精选多元正态分布的性质多元正态分布的性质精选正态分布的判别函数正态分布的判别函数v贝叶斯判别函数可以写成对数形式：贝叶斯判别函数
27、可以写成对数形式：lnlniiigpPxx 111ln2lnln222TiiiiiidgP xxxv类条件概率密度函数为正态分布时：类条件概率密度函数为正态分布时：11/2/2i11exp22Tiidpxxx精选正态分布的判别函数正态分布的判别函数v情况一：情况一：各类协方差阵相等，且各特征各类协方差阵相等，且各特征独立独立，方，方差相等差相等v情况二：情况二：各类协方差阵相等各类协方差阵相等v情况三：情况三：各类协方差阵不相等各类协方差阵不相等 任意的任意的1c 21c I精选情况一：情况一：21c I 111ln2lnln222TiiiiiidgP xxx121iI将将代入代入 221ln
28、const2iiigP xx得到决策函数得到决策函数展开决策函数展开决策函数 222111ln22TTTiiiiigP xx xx其中，二次项其中，二次项Tx x对所有的对所有的 i 是相等的是相等的精选正交正交因此，等价的判决函数为：因此，等价的判决函数为：102211ln2TTTiiiiiiigPww xxx121Tiiw021ln2TiiiiwP 其中：其中：ijggxx决策面决策面可以写成：可以写成：00Twxxijw2021ln2iijijjijppx其中：其中：过过 与与0 xw的超平面的超平面精选ijpp当当012ijx，但是，如果但是，如果ijpp当当，向先验概率小的方向偏移。
29、向先验概率小的方向偏移。0 x位于两中心的中点；位于两中心的中点；22ij相对于平方距离相对于平方距离较小，那么判决边界的位置相较小，那么判决边界的位置相对于确切的先验概率值并不敏感。对于确切的先验概率值并不敏感。在此情况下，最优判决的规则为：在此情况下，最优判决的规则为：为将某特征向量为将某特征向量x归类，通过测量每一归类，通过测量每一x到到c个均值向量中个均值向量中心的每一个欧氏距离，并将心的每一个欧氏距离，并将x归为离它最近的那一类。这样的归为离它最近的那一类。这样的分类器称为分类器称为“最小距离分类器最小距离分类器”。精选情况一：最小距离分类器情况一：最小距离分类器ijpp最小距离分类
30、器最小距离分类器判决边界是判决边界是d-1维超平面，垂直于两类中心的连线维超平面，垂直于两类中心的连线精选情况一：最小距离分类器情况一：最小距离分类器v上述结果表示在二维特征空间里，如下图所示：上述结果表示在二维特征空间里，如下图所示：可以推广到多类的情况，可以推广到多类的情况，注意这种分类方法没有不确定的区注意这种分类方法没有不确定的区域。域。向先验概率向先验概率210 x2112()()PP0 x两类判决面两类判决面与与垂直，垂直，的中点的中点时时其交点为其交点为为为时时0 x较小类型的均值点偏移。较小类型的均值点偏移。12()()PP精选各类的协方差矩阵相等，在几何上，相当于各类样本各类
31、的协方差矩阵相等，在几何上，相当于各类样本集中在以该类均值集中在以该类均值为中心的同样大小和形状的超椭为中心的同样大小和形状的超椭球内。球内。i1c 情况二：情况二：111()()()ln2ln|ln()222Tiiiiiidg xxxP 决策函数决策函数不变，与不变，与 i 无关：无关：11()()()ln()2Tiiiiig xxxP 精选一个特例：一个特例：当当时，各样本先验概率相等。时，各样本先验概率相等。)()(21)(1iiTiixxxg)()(12iiTixx2i)()()(12iiTiixxxg其中：其中：为为x到均值点到均值点的的“马氏距离马氏距离”（Mahalanobis）
32、的平方。）的平方。22对于样本对于样本x 只要计算出只要计算出，把，把x归于归于最小的类别。最小的类别。进一步简化：进一步简化：()iPP精选一般地，决策函数一般地，决策函数 11ln2TiiiigP xxx展开决策函数展开决策函数 11111ln22TTTiiiiigP xxxx1Txx对所有的对所有的 i 是相等的，则是相等的，则 11101ln2TTTiiiiiiigPwwxxx11 iiw 101ln2TiiiiwP 其中：其中：精选正交正交 ijggxx决策面决策面可以写成：可以写成：00Twxx1ijw 其中：其中：过过 与与0 xw的超平面的超平面0111ln2iijijTjij
33、ijPPx由于由于w并非沿着并非沿着ij方向，方向，因此分界面并非与均值因此分界面并非与均值间的连线垂直正交。间的连线垂直正交。精选当各类先验概率不相等当各类先验概率不相等时，不在时，不在的中的中点上，而是偏向先验概点上，而是偏向先验概率较小的均值点。率较小的均值点。v上述结果表示在二维特征空间里，如下图所示：上述结果表示在二维特征空间里，如下图所示：)(210jix当各类先验概率相等时，当各类先验概率相等时，判决面与的交点判决面与的交点ji0 xji精选ijpp时时决策面向先验概决策面向先验概率小的方向偏移率小的方向偏移精选情况三：情况三：任意的任意的ji111()()()ln2ln|ln(
34、)222Tiiiiiidg xxxP 111()()()ln|ln()22Tiiiiiig xxxP 210()TTiiiig xx w xw xw去掉与去掉与i无关的项：无关的项：可以写为：可以写为：1212iiw 11 iiiw 1011lnln()22TiiiiiiwP 其中二次项，一次项系数和常数项分别为：其中二次项，一次项系数和常数项分别为：由于：由于：精选()()0ijg xgx221100()()0TTijijijxwwxwwxwwii()iP对应的决策面为超二次曲面。对应的决策面为超二次曲面。第第 i 类和第类和第 j 类的决策面为：类的决策面为：随着随着的不同，超二次曲面可以
35、的不同，超二次曲面可以为：为：超球面、超椭球面、超抛物面、超双曲面，或超平超球面、超椭球面、超抛物面、超双曲面，或超平面等。面等。即：即：精选甚至在方差不相等的一维高斯分布情况下，其判决区甚至在方差不相等的一维高斯分布情况下，其判决区域也可以不连通！域也可以不连通！精选情况三：情况三：各类协方差不同，决策面为为超二次曲面。各类协方差不同，决策面为为超二次曲面。v上述结果表示在二维特征空间里，如下图所示：上述结果表示在二维特征空间里，如下图所示：精选精选正态分布的判别函数正态分布的判别函数v例：两类正态分布样本：例：两类正态分布样本：1131/20,602 111,:N222,:N求决策面方程求
36、决策面方程10.5P22320,202 20.5P精选 122222gxlnTxx 111111gxlnTxx12 令令 12gxgx1111112222lnlnTTxxxx320331/2032ln2601/26201/22TT xxxx22221212121221/2126361/21/23213/22ln2xxxxxxxx精选2211.833/163xx求决策面方程为：求决策面方程为：12和和中点中点偏下偏下精选贝叶斯决策理论贝叶斯决策理论v引言引言v贝叶斯贝叶斯决策常用的准则决策常用的准则v分类器，判别函数，决策面分类器，判别函数，决策面v正态分布的判别函数正态分布的判别函数vBaye
37、sianBayesian置信网置信网精选Bayesian置信网置信网v有些情况下，随机变量的分布无法得到概率密度表有些情况下，随机变量的分布无法得到概率密度表达式，但是知道该随机变量和另外一个随机变量的达式，但是知道该随机变量和另外一个随机变量的关系。关系。vBayesianBayesian置信网（置信网（Bayesian Belief NetBayesian Belief Net）利用特征之间的相互影响（因果关系）来进行决策利用特征之间的相互影响（因果关系）来进行决策用图的形式（有向无环图）表示表示因果依赖关系用图的形式（有向无环图）表示表示因果依赖关系更适合离散变量更适合离散变量又称为因果
38、网（又称为因果网（causal network）置信网（）置信网（Belief Net）精选Bayesian置信网置信网v实例的属性存在如下关系实例的属性存在如下关系 一些属性之间是一些属性之间是条件独立条件独立的的 一些属性之间存在一些属性之间存在条件依赖条件依赖（因果关系）（因果关系）vBayesianBayesian置信网可以看作是置信网可以看作是一种图关系的学习器一种图关系的学习器一种表达因果关系的联合概率分布一种表达因果关系的联合概率分布精选Bayesian置信网置信网vBayesian Belief Net结构：结构：有向无环图有向无环图顶点：顶点：特征变量特征变量边：边：起点变量
39、对终点变量起点变量对终点变量的影响（条件概率）的影响（条件概率）例子：例子：如右图如右图精选条件独立条件独立v纵向条件独立的定义：纵向条件独立的定义：纵向条件独立（如右图）：给定纵向条件独立（如右图）：给定 b，变量变量 a 与变量与变量 c 条件独立。条件独立。总结：总结：如果如果 a 到到 c 之间存在通路，给之间存在通路，给定定 a c 上比上比c更近的变量更近的变量 b，则，则 a 与与 c 在给定在给定 b 条件下独立。条件下独立。,PPc b ac b PPc ac与独立有区别与独立有区别精选条件独立条件独立v横向条件独立的定义：横向条件独立的定义：横向条件独立（如右图）：给定横向
40、条件独立（如右图）：给定 a，变量，变量 b 与变量与变量 c 条件独立。条件独立。总结：总结：如果如果 b 到到 c 之间不存在通路，给定之间不存在通路，给定 c 的所有直接变量的所有直接变量 a，则，则 b 与与 c 在给定在给定 a 条件下独立。条件下独立。与独立有区别与独立有区别 ,PPPb cbc,PPPb c ab ac a,PPc a bc a,PPb a cb a精选联合概率的计算联合概率的计算v联合概率的计算：联合概率的计算：,PPPPPPPPPa b cab c aab ac a bab ac b ,PPPPPPPPPa b cab c aab ac a bab ac a精
41、选联合概率的计算联合概率的计算v联合概率的计算：联合概率的计算：,PPPPPPPPPPPPPPPPPPa,b,c,dab c,d aab ac,d a bab ac a bd a b cab ac ad a b cab ac ad b c精选联合概率的计算联合概率的计算v更复杂的例子更复杂的例子 ,PPPPPPPPa b c d e f gabd bc a de cf eg e f精选联合概率的计算联合概率的计算v原子概率原子概率 ,PPPPPc s r wcs cr cw s r,PTTTTcsrw称为一个称为一个原子概率原子概率精选,PTFFTcsrw,0.5 0.9 0.2 00PTFF
42、TPT PFTPFTPTFFcsrwcscrcwsr例子例子求：求：精选,PTFFFcsrw,0.5 0.9 0.2 10.09PTFFFPT PFTPFTPFFF csrwcscrcwsr例子例子求：求：精选,PTTTTcsrw,0.5 0.1 0.8 1.00.04PTTTTPT PTTPTTPTTTcsrwcscrcwsr例子例子求：求：精选,PTTcw,0.040.0090.32400.373PTTPTTTTPTTFTPTFTTPTFFTcwcsrwcsrwcsrwcsrw例子例子求：求：精选条件概率的计算条件概率的计算v条件概率计算：条件概率计算：,PPPa bb aa,PPPa b
43、 c d e f ge f g a b c da b c d精选PTTwc,0.3730.50.746PTTPTTPTwccwc例子例子求：求：精选Bayesian置信网置信网vBayesian置信网的决策置信网的决策确定性证据决策确定性证据决策(朴素朴素Bayesian BN决策决策)不完整确定性证据决策不完整确定性证据决策不确定性证据决策不确定性证据决策精选Bayesian置信网置信网v确定性证据决策确定性证据决策(朴素朴素Bayesian BN决策决策)：已知一已知一Bayesian BN包含变量包含变量x=(xg,xb)和和y。完整确定性证据：完整确定性证据：现给定某样本现给定某样本x
44、0，要求预测，要求预测y最可能的最可能的取值？取值？v求解后验概率：求解后验概率：v采用采用MAP决策：决策：000,P yP yPxxx0maxyyP yx精选,0000.09PTTFFPTTFFPTFFPTTFFPTFFTPTFFFwcsrwcsrcsrwcsrcsrwcsrw0.09,100.09PFTFFwcsr继续前面的例子：继续前面的例子：已知已知c=T,s=F,r=F,求最大可能的求最大可能的w?所以：所以：Fw精选Bayesian置信网置信网v不完整确定性证据决策：不完整确定性证据决策：已知一已知一Bayesian BN包含变量包含变量x=(xg,xb)和和y。不完整确定性证据
45、：不完整确定性证据：现给定某样本现给定某样本x0=(x0g,?)，要求预测，要求预测y最可能的取值？最可能的取值？v求解后验概率：求解后验概率：v采用采用MAP决策：决策：,bbgbggggbP yP yP yPPxxxxxxxxx0maxyyPyx精选0.254PFTwc,PTTPTTPTs rw s rwcs rwcw cs r继续前面的例子：继续前面的例子：已知已知c=T,求最大可能的求最大可能的w?所以：所以：0.746PTTwcTw精选Bayesian置信网置信网v不确定性证据决策：不确定性证据决策：不确定性证据：不确定性证据：证据不是确定的值，而是某个概证据不是确定的值，而是某个概
46、率分布等。率分布等。不确定性证据决策：不确定性证据决策：给定不确定性证据给定不确定性证据e，e包含两个包含两个部分部分ep和和ec，要求对，要求对y做决策做决策PCP yP yPyeee父节点父节点P子节点子节点C精选问：问：冬天捕冬天捕到亮度高的到亮度高的鱼，该鱼最鱼，该鱼最有可能是鲈有可能是鲈鱼还是鲑鱼？鱼还是鲑鱼？（对（对f的决的决策）策）北：北：北大西洋北大西洋 南：南：南大西洋南大西洋精选 P1 0.8 0.9 1 0.2 0.50.82spspP yPPPPPP eeeee鲑鱼鲑鱼 冬,南冬南鲑鱼 冬,北冬北 P1 0.8 0.1 1 0.2 0.50.18spspP yPPPPP
47、P eeeee鲈鱼鲈鱼 冬,南冬南鲈鱼 冬,北冬北北：北：北大西洋北大西洋 南：南：南大西洋南大西洋冬天捕到两种鱼的概率冬天捕到两种鱼的概率精选0.33 10.330.50.3400.410.610.495CblbbllPyPPPb P bPl P l eeeee鲑鱼鲑鱼鲑鱼鲑鱼鲑鱼0.810.10.50.100.9510.0510.85CblbbllPyPPPb P bPl P l eeeee鲈鱼鲈鱼鲈鱼鲈鱼鲈鱼北：北：北大西洋北大西洋 南：南：南大西洋南大西洋鱼的亮度为亮，长度被遮挡鱼的亮度为亮，长度被遮挡精选0.82 0.4950.82 0.4950.18 0.850.726P y e鲑鱼0.18 0.850.82 0.4950.18 0.850.274P y e鲈鱼所以所以 y 鲑鱼北：北：北大西洋北大西洋 南：南：南大西洋南大西洋精选
