人工智能PPT样板课件.ppt

1、2.1 2.1 引言引言l 贝叶斯决策论是解决模式分类问题的一种基本统计途径。它做了如下假设，即决策问题可以用概率的形式来描述，并且假设所有的概率结构已知。 l 例：鲑鱼和鲈鱼分类l两类鱼自然状态下的先验概率l先验概率是一个随机变量(=1鲈鱼; = 2鲑鱼) l等概率假设下有：P(1) = P(2)P(1) + P( 2) = 1 仅根据先验概率的判决规则if P(1) P(2)则 判为1否则 判为 2连续判决连续判决和误差概率误差概率 使用类条件概率信息（ P(x | )类条件概率密度函数 ） P(x | 1) 和 P(x | 2) 描述两类鱼光泽度的不同2.1 2.1 引言引言2.1 2.

2、1 引言引言2.1 2.1 引言引言 处于类别j并具有特征值x的模式的联合概率密度如下： p(j,x) = P(j | x) . p(x)=p(x| j ) .P(j ) 21)()|()(jjjPxpxpp(x)P(|p(x x)|P(jjjevidencepriorlikelihoodposterior l由上可得贝叶斯公式： 两类问题情况下非正式表示： 根据后验概率判决X 是观测属性if P(1 | x) P(2 | x) 判决状态为 1if P(1 | x) P(2 | x) 判为 1 否则判为 2 ; 所以: P(error | x) = min P(1 | x), P(2 | x)

3、 2.2 2.2 贝叶斯决策论贝叶斯决策论连续特征连续特征l 贝叶斯推广l使用多余一个的特征l允许多余两种类别状态的情形l允许有其他行为而不是仅仅是判定类别l通过引入一个更一般的损失函数来替代误差概率2.2 2.2 贝叶斯决策论贝叶斯决策论连续特征连续特征 令1, 2, c 表示有限的c个类别集 1, 2, a 表示有限的a种可能的行为集 (i | j)为类别状态j 时采取行动i的风险。 则有下面的几个等式：cjjjiixPxR1)|()|()|(cjjjjjjPpppPpP1)()|()()()()|()|(xxxxx总风险：xxxxdpRR)()| )( 两类情况下 1 : 判为 1 2

4、: 判为 2 ij = (i | j) :类别为j 时误判为i所引起的损失 条件风险: R(1 | x) = 11P(1 | x) + 12P(2 | x) R(2 | x) = 21P(1 | x) + 22P(2 | x) 2.2 2.2 贝叶斯决策论贝叶斯决策论连续特征连续特征 判决规则如下: 如果 R(1 | x) (12- 22) P(2 |x) 判为 1 否则判为22.2 2.2 贝叶斯决策论贝叶斯决策论连续特征连续特征2.2 2.2 贝叶斯决策论贝叶斯决策论连续特征连续特征 等价判别规则2： 如果： (21- 11) P(x | 1) P(1) (12- 22) P(x | 2)

5、 P(2) 判为 1 否则判为2 l等价判别规则3(合理假设21 11)：)()()|()|(121121221221PPppxx成立，则判为1 否则判为2似然比超过某个不依赖x x 的阀值，那么可判决为1 2.3 2.3 最小误差率分类最小误差率分类 基于类别的行为 如果采取行为 i i 而实际类别为 j j，那么在i = j 的情况下判决是正确的，如果i j，则产生误判。为避免误判，需要寻找一种判决规则使误判概率最小化。 对称损失或0-1损失函数:c,.,1j , i ji 1ji 0),(ji 则,条件风险为:11)|(1)|( )|()|()|(jijcjjjiiPPPRxxxx 最小

6、化误差概率，需要最大化后验概率 P(i | x) (因为 R(i | x) = 1 P(i | x) 基于最小化误差概率，有：对任给j i，如果P ( i | x) P( j | x)，则判为 i2.3 2.3 最小误差率分类最小误差率分类2.4 2.4 分类器、判别函数及判定面分类器、判别函数及判定面 多类别情况 判别函数 gi(x), i = 1, c如果：gi(x) gj(x) j i 分类器将特征向量x判为i 2.4 2.4 分类器、判别函数及判定面分类器、判别函数及判定面 一般风险情况下，可令gi(x) = - R(i | x)l(最大判别函数与最小的条件风险相对应)根据最小误差率情

7、况下gi(x) = P( i | x)(最大判别函数与最大后验概率相对应)其他判别函数：)(ln)|(ln)()()|()()()|()()|()|()(1iiiiiicjjjiiiiPxpgPxpgPxpPxpPgxxxx2.4 2.4 分类器、判别函数及判定面分类器、判别函数及判定面 每种判决规则将特征空间分为c个判决区域if gi(x) gj(x) j i 则 x属于Ri(也就是把x判为i)2.4 2.4 分类器、判别函数及判定面分类器、判别函数及判定面 两类情况（二分分类器） 令 g(x) g1(x) g2(x) 如果 g(x) 0判为1 ; 否则判为 2g(x)的另类计算：)()(l

8、n)|()|(ln)()|()|()(212121PPPPgPPgxxxxxx2.5 正态密度l分析的简易型l连续性l很多处理都是渐进高斯的，大量小的独立的随机分布的和l手写字符, 语音等都是高斯的单变量密度函数：其中: 是x的期望值 2 是方差221exp 21)(xxP2.5 正态密度 多元密度函数 一般的d维多元正态密度的形式如下: x = (x1, x2, , xd)t = (1, 2, , d)t 均值向量 = d*d 协方差矩阵 |行列式值 -1逆矩阵)()(21exp)2(1)(12/12/xxxtdP2.5 正态密度2.6 2.6 正态分布的判别函数正态分布的判别函数 最小误差

9、概率分类可以通过使用判别函数获得gi(x) = ln P(x | i) + ln P(i) 多元情况下：)(Plnln212ln2d)x()x(21)x(gii1iitii 2.6 2.6 正态分布的判别函数正态分布的判别函数 情况1： i = 2.I (I 是单位矩阵) )(ln21,)()(ln221)()()(ln2)(20202222iitiiiiitiiiitititiitiiiiiPwwgPgPgwxwxxxxxxxxx其中：得到线性判别函数：）（其中“线性机器”使用线性判别函数的分类器。线性机器的决策面是一个由下式定义的超平面:gi(x) = gj(x)2.6 2.6 正态分布的判别函数正态分布的判别函数 情况：2 i = (有所类的协方差矩阵都相等，但各自均值向量任意!)2.6 2.6 正态分布的判别函数正态分布的判别函数2.6 2.6 正态分布的判别函数正态分布的判别函数 情况3： i = 任意，每一类的协方差矩阵是不同的2.6 2.6 正态分布的判别函数正态分布的判别函数精品课件精品课件！精品课件精品课件！Thank you!