1、模式识别导论 模式识别第二讲：Bayes决策理论模式识别导论l2.1 基于最小错误率的Bayes判别法l2.2 基于Bayes判别的几种判别规则l基于最小风险的Bayes决策lNeyman-pearson决策l最小最大决策l序贯分类决策l2.3 正态分别模式的统计决策l正态分别概率密度函数的定义与性质l多元正态概率模型的Bayes判别函数l2.4 概率密度函数的估计l2.5 Bayes分类器的错误概率模式识别导论l 如果模式表现为具有确定性特征，在特征空间中各类互不重叠，那么可以用线性判别函数（广义线性）l 但事实上并不完全是这样，许多观测结果具有不确定性，这时用概率法则。如图 模式识别导论全
2、概率（total probability）和Bayes规则（有关知识复习）设有M个事件MiAi,2,1,由基础概率论可知 MiiAP11于是，对于任意一个事件B，它的概率由下式确定（全概率公式）：MiiiAPABPBP1|iABP|iA为 出现的条件下，事件B出现的概率，模式识别导论即条件概率，由下式定义：APABPABP,|ABP,是两个事件A和B同时出现的联合概率需要注意的是，虽然说事件B是任意的，但事实上，从全概率公式可以看出，它和事件 中的某个或某几个或全部是有联系的，iA这种联系就是：中的某个或某几个或全部都出现的话，B必定出现，否则，P(B）为0 iA BPBAPAPABP|由条件
3、概率的定义得到模式识别导论 MiiiAPABPAPABPBPAPABPBAP1|变换一下，再利用全概率公式：上面的公式很容易扩展到随机变量（random variable），这时事件的概率应该变成是随机变量的概率密度函数 均值和方差(mean and variance)xp是随机变量x的概率密度函数 模式识别导论它的均值和方差分别定义为 dxxxpxE dxxpxEx22统计独立性(statistical independence)设有两个（或多个）随机变量x、y当且仅当下式成立时 ypxpyxpyx,称x和y是统计独立的，这时容易证明 yExExyE模式识别导论正态分布(normal dis
4、tribution)正态分布是最常见和常用的分布形式。由于中心极限定理(central limited theorem)所表述的事实，使得正态分布最具实用意义 一元正态分布多元正态分布模式识别导论首先我们介绍一个在推导多元正态分布时有用的公式。设有一组随机变量 pxxx21,用随机向量x来表示，把它通过某种变换g变换到随机向量y后，概率密度函数是怎么变化的呢？设变换是按照式yg（x）进行的，式中，g（g1，g2，gp）T，那么y和x的概率密度函数由如下关系：模式识别导论 Jxyxypp其中，|J|是雅可比行列式的绝对值：pppppxgxgxgxgxxx111121,J模式识别导论一个最简单的变
5、换是线性变换，即 BAxy AByAyxy1pp标准正态分布的均值为零，方差为1，其概率密度函数的数学表达式 xxxp 2exp212模式识别导论分布函数则由下式求得：XXXerfdxxdxxpXxpXP2212121exp212 dxxXerfx02exp2式中称为误差函数设有随机变量 其中X服从标准正态分布，则变换公式（这时都是一元变量），得到一般正态分布的概率密度表达式 XY 221exp21xyp模式识别导论设随机向量X由 p个随机变量 pXXX21,组成，它们是是独立同分布的，且都服从标准正态分布，那么这p个随机变量的联合概率密度函数为：212/21111,exp22pppiipii
6、p xxxp xx对随机向量X做变换：AXY应用前述变换公式模式识别导论 yAAyAy112/21exp21TTpp因为Y的协方差矩阵(covariance matrix)，由下式确定：TTEAAyy yyy12/12/21exp21Tpp所以模式识别导论上式即为多元正态分布(multivariable normal distribution)的概率密度函数 样本均值：一个随机变量经过n次观测，获得观测数据y1,y2,yn，这n个观测数据的样本均值为：niiyny11样本均值和总体均值一般是不相同的，但样本均值是总体均值的很好近似：的方差是随机变量ynyyE22,var,模式识别导论2.1 2
7、.1 基于最小错误率的基于最小错误率的BayesBayes决策决策一、两类问题例如：细胞识别问题。设1正常细胞，2异常细胞。某地区经大量统计获先验概率P(1),P(2)。若取该地区某人细胞，问属何种细胞，此时只能由先验概率决定。这种分类器意义不大221121),()(),()(xxPPPP模式识别导论不过一般总是不止这么一点信息的。假设我们对细胞的某个特征x进行了测量，它具有概率密度函数1|xp现假设我们对某未知细胞进来了这个特征的测量，获得测量值x，那么这个测量值对我们判别该细胞来自哪一类有什么样的影响呢？设细胞来自 同时具有测量值x的概率为i)()|()()|(),(,xpxPPxpxpx
8、piiiii模式识别导论 21)()()()(|jjjiiiiiPpPpxpPpPxxxx全概率公式这就是Bayes公式。当给定某未知细胞特征的测量值的条件下，来自于 的概率。这个概率称为后验概率。所以后验概率的计算可以通过先验概率和类概率密度i模式识别导论221121),()(),()(xxPxPxxPxP则若则若一般地，设N N个样本分为两类1，2。每个样本抽出n个特征，x x=（x1，x2，x3，xn）T判别规则：决策面按照判别规则将多维特征空间分成m个类别区域，这些区域的边界面决策面方程用解析形式表示决策面判别函数用以表述判别规则的函数模式识别导论)(,)()(ln)()(ln)()4
9、()(,)()()()()()3()(),()()()()()2()(),()()()1(12211221221121取对数方法似然比形式类条件概率密度后验概率PPppgPPppgPpPpgPPgxxxxxxxxxxxx若已知先验概率P(1),P(2)，类条件概率密度p(x x|1)，p(x x|2)。则可得贝叶斯判别函数四种形式：模式识别导论决策规则：2112212112212122112121)()(ln)()(ln)()4()()()()()3()()()()()2()()()1(xxxxxxxxxxxxxPPppgPpPpPpPpPP模式识别导论Bayes决策的基本思想是：要求判别归属
10、时依概率最大作出决策，这样的结果可以使分类的错误率最小 xxxxxdpePdePeP|,对两类问题，如果P(1|x)P(2|x)，则有 1x如果此时作出2x的决策则是错误的可以认为条件错误率为P(2|x)模式识别导论xxx|21PPePxxxx|2112PPPP如果令t为两类的分界面，则在特征向量X是一维时，t为x轴上的一个点，它将x轴分为两个区域R1和R2。R1为 R2t,t xxxxxxxxxxdPpdPpdpPdpPePtttt112212|（2-1-9）模式识别导论模式识别导论Bayes决策，实际上是对每个x都使P（e|x）取数值最小的，这样（2-1-9）式的积分必然达到最小，即平均错
11、误率P（e）达到最小。这就证明了贝叶斯决策确实使错误率最小。模式识别导论例例：某地区细胞识别:P(1)=0.9，P(2)=0.1 未知细胞测量得特征x，1，2有该特征的概率分别如下,该细胞属于正常细胞还是异常细胞?设1为正常细胞。P(x|1)=0.2，P(x|2)=0.4.),()(),()(,182.0)(1)(818.01.04.09.02.09.02.0)()()()()(211211221111用所以先验概率起很大作因为属正常细胞。因为PPPPPPPPPPPjjjxxxxxxxx解解：先计算后验概率：模式识别导论例：设有一维两类问题，特征x的概率密度函数)1(exp(1)|()exp(
12、1)|(2221xxpxxp令P(1)=P(2)=0.5,计算使错误率最小的阈值 5.0 )1(exp()exp(:0220 xxxx解：模式识别导论g(x)nxxxX.21特征向量判别计算决策21x阈值单元分类器设计：两类情况：多类情况：=(1,2,m)，x=(x1,x2,xn)判别函数：M类有M个判别函数g1(x),g2(x),gm(x).每个判别函数有前述的四种形式。决策规则：),.,2,1(,)()(max)()()(1MixPxPPxPxgijjMjiiiiijMjiiixPxPPxPxg)(ln)(lnmax)(ln)(ln)(1另一种形式的判别函数：0)()(),()(xgxgx
13、gxgjiji即g1(x)Maxg(x)nxxxX.21特征向量判别计算决策ixg2(x)gn(x)最大值选择器.决策面方程：模式识别导论最小风险最小风险Bayes分类器分类器假定要判断某人是正常(1)还是肺病患者(2),于是在判断中可能出现以下情况：第一类，判对(正常正常)11；第二类，判错(正常肺病)21；第三类，判对(肺病肺病)22；第四类，判错(肺病正常)12。当发生错误时，由此引起的损失或风险是不同的，因此引入最小风险Bayes分类器。先说明几个概念：模式识别导论行动i：表示把模式x判决为i类的一次动作。损失函数ii表示模式X本来属于i类而判为i所受损失。因为这是正确判决，故损失最小
14、。损失函数ij=表示模式X本来属于j类判为i所受损失。因为这是错误判决，故损失最大。风险R（期望损失）：对未知X采取一个判决行动(X)所付出的代价（损耗）条件风险（也叫条件期望损失,对于给定的X,采取i的损失）：1,1,2,.,.()MiijijjjREPia aMxx在整个特征空间中定义期望风险,期望风险：)(,平均风险xxxxdPRR模式识别导论对于给定的x，如果采取决策，从决策表可见，对应于决策，可以在M个,j=1,2,m当中任取一个损失函数，其相应概率为P(j|x)。损失 状态决策123m123aij1112131m2122232m1a2a3aam模式识别导论条件风险只反映对某x取值的
15、决策行动i所带来的风险。期望风险则反映在整个特征空间不同的x取值的决策行动所带来的平均风险。最小风险Bayes决策规则：kiMikxxRxR则若,min,.,2,1对于实际问题，最小风险贝叶斯决策可按下列步骤进行：在已知P(j),p(x|j),j=1,2,m，并给出待识别的x的情况下，根据贝叶斯公式计算出后验概率：iimijjjPxPPxPxP|1模式识别导论aii,2,1,xRi|利用计算出的后验概率及决策表，按（2-2-3）计算出采取的条件风险 xRi|kaixRxRik,2,1|min|k对（2）中得到的a个条件风险值,i=1,2,a，进行比较，找出使条件风险最小的决策，即,则就是最小风
16、险贝叶斯决策 结论：最小风险Bayes决策不仅取决于先验概率，还取决于损失函数。实际工作中，损失函数的确定需要根据不同的具体问题而定模式识别导论1211122122例：已知正常细胞先验概率为()0.9,异常为()0.1,正常和异常细胞具有特征x的概率分别为()0.2,()0.4，0,6,1,0iiPPP xP x 二类问题：把x归于1时风险：把x归于2时风险：)()()()()()(22212122121111xPxPxRxPxPxR122111221221112112由上例中计算出的后验概率：()0.818,()0.182条件风险：()()()1.092()()0.818因为()()异常细胞
17、,因决策类风险大。因6较大，决策损失起决定作用。jjjPxPxRxPxPxRxPxRxRxx模式识别导论10,0 1:1,()()()()1()()()时用函数时后验概率最小，就相当于最大，这时便得到最小错误率分类器。ijMiijiijjjij ij iiiiijijRxPxPxPxPxRxPx下面我们会看到，Bayes决策是最小风险Bayes决策的特殊情况：模式识别导论在一类错误率固定使另一类错误率最小的判别准则在一类错误率固定使另一类错误率最小的判别准则（聂曼-皮尔逊判决neyman-pearson）)(1xP)(2xP1R2X1X12R考虑两类决策问题，其两类错误率为P1(e)（本属第一
18、类被判为第二类）和P2(e)（反之）。由于实际工作中常常要求限制某一类错误率不得大于某个常数而使另一类错误率尽可能地小，例如在癌细胞识别中，我们已经认识到把异常误判为正常的损失更为严重，常常要求这种误判为错误率P2(e)很小，即P2(e)=是一个很小的常数，在这种条件下再要求P1(e)即把正常误判为异常的错误率尽可能地小。这是一个条件极值问题 00,211|RdxxpeP 122|RdxxpeP模式识别导论)()(021ePePr设：dxxpdxxpRR11|1|12考虑到：dxxpxpdxxpxpdxxpdxxprRRRR210120021|1|1|1112求R1使r取得极小值。运用拉氏乘数
19、法，得到模式识别导论由此式分别对x和求导，令 0 xr0r21|xpxp14-2-13,2-2-2|021dxxpR可以推知，当我们选择满足条件0|21xpxp的点x的全体组成为R1，就可以保证这时的r比其他任何R1的取法要小。因为此时可以保证R1能使被积函数取正的最大的域。对于其他任何新的取法，不妨设121111)(RRRR那么在R11上，0|21xpxp那么在R12上，0|21xpxpR1模式识别导论dxxpxpdxxpxprdxxpxpdxxpxpdxxpxprRRRRRR)|(|()|(|()1(|11211121111212121210210上式第二项积分为正，第三项积分为负，因此r
20、r 模式识别导论同理，当选择 的点x 组成区域R2可以使所求的目标函数最小，综上，有判别规则0|21xpxp21|xPxP21x可以看出聂曼皮尔逊决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的，所不同的只是最小错误率决策所用的阈值是先验概率之比P(2)/P(1)，而聂曼皮尔逊决策所用的阈值则是Lagrange乘子它是（2-2-13）和（2-2-14）方程的解。模式识别导论这里，判决阈值 又是由 决定的，即适当选取002)(ep020()p e当给定后，拉格朗日乘子 可由式其中为判别边界g()2p x|dx)g()但显式求解很困难，因为是 的单调函数，可以用试探法模式识别导论例例：两类的
21、模式分布为二维正态协方差矩阵为单位矩阵1=2=I，设20.04求聂曼-皮尔逊准则 T.解：解：TT0,1,0,121 22exp212exp21)(21exp212exp21)(22212222221111xxPxxPTTxxxxxx同理：所以因为是两类正态模式识别导论的不同直线。判别边界是平行于对于不同式有了判别边界和判别形即判别式为：判别边界为：如右图所示22112111121,ln212exp2exp2exp)()(:xxxxxxxPPxx42 12141111x2x12345.07.0345.07.0模式识别导论2/)1(exp212/)1(exp(21)|()|()|(2122221
22、212121xdxxxxpxppx边缘密度的的函数，需求由于界面只是x121ln21021exp21dxx模式识别导论nx211121ndyy2exp2121ln2/10令 x1-1=y 则 y=故 4211/21/4Y-1.693-1.347-1-0.653-0.307X1-0.693-0.34700.3470.6930.0460.0890.01590.2580.3780模式识别导论最大最小判别准则最大最小判别准则：前边的讨论都是假定先验概率不变，现在讨论在P(i)变化时如何使最大可能风险最小，先验概率P(1)与风险R间的变化关系如下：.)(,11)(12122212111212211122
23、212221121222211212212111121122122121的线性函数就是被确定，风险一旦，对二类情况有：关系：与风险PRdxxPdxxPPdxxPRdxxPdxxPPPdxxPPxPPdxxPPxPPdxxPxxRdxxPxxRdxxPxxRRPRi整个样本空间中的期望风险模式识别导论 1222221211121221122212221dxxPdxxPbdxxPabPaR其中：)(1xP)(2xP12X1X12 。使最大风险为不变，变化，则平行，与横坐标这时直线如图所示，这时候最大风险为最小即无关与使如果选择关系为一条曲线与选择不同时，当关系为直线关系与区间固定时，当a:0.,0
24、,3;,2;,1112221222222121112122111211211121212RPPRdxxPaRdxxPdxxPPRbPRRPPR 这样，就得出最小风险与先验概率的关系曲线，如图所示：讨论：1PR固定21,*RA选择不同21,)(1*P1PR*RB)(1*P不变变化RP1模式识别导论 .,0.0,2121211222112112两类错误概率相等若选取损失为满足应该使边界所以在最大最小判别中ePePdxxPdxxPb上式证明，所选的判别边界，使两类的概率相等：ePeP21这时可使最大可能的风险为最小，这时先验概率变化，其风险不变模式识别导论序贯分类序贯分类迄今为止所讨论的分类问题，关
25、于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。假设对样品进行第 i 次观察获取一序列特征为：X=(x1,x2,xi)T 则对于1，2两类问题,若X 1，则判决完毕若X 2，则判决完毕若X不属1也不属2，则不能判决，进行第i+1次观察，得X=(x1,x2,xi,x i+1)T，再重复上面的判决，直到所有的样品分类完毕为止。这样做的好处是使那些在二类边界附近的样本不会因某种偶然的微小变化而误判，当然这是以多次观察为代价的。模式识别导论:),.,()()()()()(121211221时可计算其似然比当测得第一个特征参数其中
26、，特征矢量xxxxXXPPXPXPxlTNi)()()()()(2111211111xPxPxPxPxl由最小错误概率的Bayes 判决，对于两类问题，似然比为)()()(,)(,)(,)(22112121221121111111xxPxxPxxlxAxlBxXBxlxXAxl，并计算似然比则测量下一个特征参数如果则如果则如果模式识别导论现在来确定现在来确定A、B的值。因为的值。因为是上下门限），（其中止样品的类别全部确定为所有，为重复以上过程直到，再测第三个特征参数，若，则，若，则，若BAxAxxlBxxXBxxlxxXAxxlTT.)()(,)()(,)(3212221212121212类
27、的概率。判决为类而属于，左边的积分代表模式得：的特征空间内取积分可对上式两边对应于次测量表示第11211212111)()()()(,)()()(dXXPAdXXPXAPXPNNAXPXPxlNNNNNNN模式识别导论22112121212111212121122221111)(1)()()(1)(1)(),(1()()()()()(,)()()()()(1)()(1)()()()(1)(2211XePePBXePePAePePBePBePdXXPBdXXPXBPXPBXPXPxlePePAeAPePePdXXPePePdXXPNNNNNNNNN用错误概率表示为即所以同理，因为或类的分类误差概
28、率类而错判为为本来属于而积分类的分类误差概率类而错判为表示本来属于即：)()(121ePePA)(1)(21ePePB继续观察区区判决1X区判决2X模式识别导论v 序贯分类决策规则：上下门限A、B是由设计给定的错误概率P1(e),P2(e)来确定的，Wald 已证明，观察次数不会很大，它收敛的很快。时，继续观察时时AXPXPBXePePBXPXPXePePAXPXPiiiiii)()()(1)()()()()(1)()(212212112121模式识别导论 正态分布决策理论正态分布决策理论 一、正态分布判别函数 1、为什么采用正态分布：a、正态分布在物理上是合理的、广泛的。b、正态分布数学上简
29、单，N(,)只有均值和方差两个参数。2、单变量正态分布：)()()(,)()(:),(21exp21)(22222方差，均值或数学期望其中dxxPxxEdxxxPxENxxP1)()(,0)(dxxPxxP列关系：概率密度函数应满足下)(xPX2295.013、（多变量）多维正态分布 （1）函数形式：的行列式为的逆阵，为维协方差矩阵，为维均值向量，维特征向量其中121211212),.,(,.,:21exp21)(nnnnxxxxxxxPTnTnTniiiiidxxPxxE)()(模式识别导论多元正态分布可以由单元正态分布引入。niiiiniiniiiniiiiiinxxxpNxpxxxn12
30、122122121exp2121exp21,其联合分布为：，则如果它们是相互独立的是正态分布的，即个随机变量设有模式识别导论多元正态分布可以由单元正态分布引入。2122221221200000 0100010010nn上 面 的 式 子 可 以 写 成 矩 阵 的 形 式，首 先 注 意 到这 时 的 协 方 差 矩 阵 为 对 角 矩 阵：模式识别导论 对角阵，即要求对于一般情形，不一定于是，xxxpxxxTnTniiii121212121exp21,.2222121212211nnnnn是协方差，非对角线是方差对角线jijixxExxExxExxEijijnnnnnnnnnnnnn2222
31、2212121221111111111,.(2)、性质：、与对分布起决定作用P()=N(,),由n个分量组成，由n(n+1)/2元素组成。多维正态分布由n+n(n+1)/2个参数组成。、等密度点的轨迹是一个超椭球面。区域中心由决定，区域形状由决定。、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。、线性组合的正态性。211X2X模式识别导论判别函数：类条件概率密度用正态来表示：)(lnln212ln221)(ln21exp21ln)(21exp21ln)()(ln)(112121212iiiiTi
32、iiiTiiniiiTiiniiPnxxPxxPxxPxPxg模式识别导论最小错误率(Bayes)分类器：从最小错误率这个角度来分析Bayes 分类器 1.1.第一种情况：第一种情况：各个特征统计独立，且同方差情况。(最简单情况)决策面方程：0)()(xgxgji0)()(lnln2121)()(11jiijjjTjiiTijiPPxxxxxgxg 对分类无影响。无关。都与因为inIIIPnxxxgiiiiiiiTii2ln2,1,)(lnln212ln221)(21221零。，只有方差，协方差为即22112.0.0.:nniI判别函数：)(,2)()(.)()(2221欧氏距离imxxgPP
33、P最小距离分类器：未知x与i相减，找最近的i把x归类如果M类先验概率相等：iTiiiiiiiTiixxxPxPxxxg2221),(ln2)(ln21)(其中 00220012,因为二次项与 无关简化可得：(),(线性判别函数)11其中：,ln()2判别规则：()maxTTTTiiTiiiTiiiiiiTTiiijjijMxxx xxx xig xw xwwwPg xw xww xwx 当各类先验概率不相等的时候：)()(ln)(210)(0)()(200jijijijijijiPPxWxxWxgxg其中决策面方程：21212211212212)()(ln)(21)(1)()()(xPPxxg
34、xgxgTTT对于两类情况)()()(21)()(.)()()()(ln)()(21)(.21321121马氏距离，若先验概率相等无关与因为rxxxgPPPPPxxxgiiTiiiiiTiiM)(ln21,)()()(101011iiTiiiiiTiiTiTiPwWwxWxgixxxx其中（线性函数）无关。与展开；把2、第二种情况：、第二种情况：i 相等，即各类协方差相等。模式识别导论 第一类第二类21trxx其中为均值向量，为协方差矩阵 欧氏距离和马氏距离之间的差别：欧氏距离来说应该是属于第一类模式识别导论例子：二维两类问题，设都服从正态分布，协方差矩阵一样TT33,009.13.03.01
35、.121均值向量为计算向量 到这两类的欧氏距离和马氏距离T2.21.0952.20.20.155.015.015.095.02.20.1)()(),(11112xxxdTm模式识别导论672.38.00.255.015.015.095.08.00.2)()(),(21222xxxdTm同理，可见，给定的向量和第一类的中心比较近。但如果从欧氏距离类看，则是相反的，下图228.02 2212.2 模式识别导论)()()()()(ln)(21)(,0)(1010jiTjijijijijiTPPxWxxW。其中0)()()()(ln)(21)()()()(max)(21212211111212010
36、xgxgxPPxxgxgxgxwxWwxWxgjijiTTijTjMjiTii相邻与决策界面：若对于二类情况决策规则：模式识别导论 3 3、第三种情况、第三种情况(一般情况)：为任意，各类协方差矩阵不等，二次项xT x与i有关。所以判别函数为二次型函数。ijTjjTMjiTiiTixwxWxWxwxWxWxxg010max)(决策规则：2121212122111112)()(lnln21)()(21)()(21)()()(xPPxxxxxgxgxgTT对于二类情况)(lnln2121)()(,21,)(:10110iiiiTiiiiiiiiTiiTiPwnWnnWwxWxWxxg，维列向量矩阵
37、其中判别函数模式识别导论贝叶斯决策分类器大都涉及类概率密度函数，对于正态分布模式，其概率密度函数可通过均值向量和协方差矩阵的估算而确定。在无法用参数表征概率密度函数时，则可以通过某些函数来近似地表示 概率密度函数的估计 一般以模式样本的平均作为均值向量的近似值。设某类的模式样本数为N，其均值向量估计量m 14211NjjxNm2422ttttttmmxxEmmxmxxEmxmxEC模式识别导论342111tkNKkmxmxNC当无法用参数表征概率密度函数时，则需要选取某种基函数作近似估计 dxxPxPxRx2 x xP其中是权函数。如果将写成m项展开式模式识别导论 8421mjjjxCxPjC
38、 xj其中为待定系数，为基函数，将此式代入（2-4-7 dxxCxpxRmjjjx21 942,2,1,01dxxpxxdxxxxCmkCRkxkjxjmjk有模式识别导论由于式中右边为 xxk的数学期望，可用N个样本的均值来近似 1042111 NjikikmjxjjxxNdxxxxC由于一般选择正交函数集 xj作为基函数，故有 11420kjkjAdxxxxKxkj若模式识别导论书上例子，自学。注意Hermite多项式查阅有关数学参考书模式识别导论v 关于分类器的错误率分析关于分类器的错误率分析 1、一般错误率分析、一般错误率分析：dxxPPdxxPPePxPPxPPdxxPPdxxPPe
39、PPePPePdxxPRxPePdxxPRxPePdxxePePxxPxxPxePxPxxPxPTTYYRRRR)()()()()()()()()()()()()()()()()()()()()()()()()()(),(),()().(,),()(1122min22112211221122121121211221211212（证明略）使错误率最小条件：总错误率：第二类判错：第一类判错：平均错误率：这时错误率最小。当当这时错误率为则二类问题：若)()(11PxP)()(22PxPTY1YR1R2模式识别导论计算量很大）总错误率对于多类问题：)()()()(.)()(.)()(.)()()()(
40、.)()()(11121222321111312iMiMjjjMMMMMMMPRxPPRxPRxPRxPPRxPRxPRxPPRxPRxPRxPePijMiiRiMiiiidxPxPPRxPMPi11)()()()()(用平均正确分类概率：，计算相对简单。错误率：)(1)(MPeP2、正态分布最小错误率、正态分布最小错误率(在正态分布情况下求最小错误率)21)()(21PP设：)(21exp21)()(21exp21)(2211BxxPAxxP率。因此可计算出最小错误可以计算若已知错误率最小对多维问题：可计算可以计算若已知，其中：。可得代入把值值就是，可解出条件：把上式代入最小错误率.,)(2
41、1,21exp21)(,)(,)()(,2121exp21)()()()()()()(.)()()()(21211212min222111min212221122211minmin2211kkduuePNxPNxPePkkxuduudxxPPdxxPPePePePYYxxPPxPPTkkYYTTTT模式识别导论BayesBayes分类的算法分类的算法（假定各类样本服从正态分布）1.输入类数M；特征数n，待分样本数m.2.输入训练样本数N和训练集资料矩阵X(Nn)。并计算有关参数。3.计算矩阵X中各类的后验概率。4.若按最小错误率原则分类，则可根据 3 的结果判定y中各类样本的类别。5.若按最小
42、风险原则分类，则输入各值，并计算X中各样本属于各类时的风险并判定各样本类别。例例1、有训练集资料矩阵如下表所示，现已知，N=9、N1=5、N2=4、n=2、M=2，试问，X=(0,0)T应属于哪一类？解解1、假定二类协方差 矩阵不等（12）则均值:53,0)11011(511211XX训练样本号k 1 2 3 4 5 1 2 3 4 特征 x1特征 x21 1 0 -1 -1 0 1 0 -1 0 1 1 1 0-1 -2 -2 -2类别1 2方法）的计算请看协方差协方差矩阵为1122211211212221212111(,410032,103001:.)47,0(,)53,0(,CCCCXX
43、XXXXTTTT计算方法同上）协方差矩阵为(410032,103001103)()(410)()(411)01()01()00()01()01(41)()(15121122T511222221121225111112222221115111111xxxxCCCxxxxCxxxxCkkkkTkkkkTk223.0)()(ln,94)(,95)(:59.0ln,61,103,40023,310001212121211211PPPP先验概率模式识别导论188.12)5.13(81.14091.101832210)()0,0(091.10)()0,0(),(x,),(x0)()(lnln21)xx()
44、xx(21)xx()xx(21)()()(22222122221121212121211222111112xxxxxxgXxgxxxxxPPxgxgxgTTTTTT程：这是一个非线性椭圆方得分界线方程为：令类。属于所以判代入得：将利用公式：1X2X111162.0.61.0068.21147)()0,0(x068.2)()(ln)xxxx(21x)xx()(221211212111112所示为一直线，如图中虚线从而得分界线方程为类，判为故应把xxxgPPxgTTTT1X2X1111得：所以代入Tx0,0,11200053,20110035121 v 解解2、假定两类协方差矩阵相等=1+2训练样
45、本号k1 2 31 2 31 2 3特征 x10 1 2-2 -1 -2 0 1 -1特征 x21 0 -1 1 0 -1-1 -2 -2类别123解解1、假定三类协方差不等；例例2：有训练集资料矩阵如下表所示，现已知，N=9、N1=N2=3、n=2、M=3，试问，未知样本 X=(0,0)T应属于哪一类？3213213100110031,1001:)35,0(x)0,35(x,)0,1(x，协方差矩阵为，均值TTT300110031001131211，所以6.3)()(,5.0)(:0,02.710321)(2.710321)(1221)(.lnln2121,21,)(313131132122
46、2213122212122211111321321xgxgxgXxxxxgxxxxgxxxxgPwwWwxwxWxxgPPPTiiiiTiioiiiiiioTiiTi代入得将所以其中代入多类判别函数先验概率，12X321X待定样品353511x3x2x06.252)()(055)()(01.36)()()()(),()(),()(0,021221321222132121211332211xxxxgxgxxxxxgxgxxxgxgxgxgxgxgxgxgXT分别令类为故应判样品12X321X待定样品353511x3x2x可得三类分界线如图所示：可得三类分界线如图所示：模式识别导论4225)()(
47、,143)(:0,0422575)(422575)(,14373)()(:730073,37003732123121101321 xgxgxgXxxgxxgxxgwxwxgTiTii代入得将所以代入多类时判别函数解解2、设三类协方差矩阵相等12X321X待定样品353511x3x2x2187573)()(7575)()(21878)()()()(),()(),()(0,0211321321211332211xxxgxgxxxgxgxxgxgxgxgxgxgxgxgXT分别令类为故应判样品可得三类分界线如图所示：可得三类分界线如图所示：模式识别导论作业作业：在下列条件下，求待定样本x=(2,0)
48、T的类别，画出分界线，编程上机。1、二类协方差相等，2、二类协方差不等。训练样本号k1 2 31 2 3特征x11 1 2-1 -1 -2特征x21 0 -11 0 -1类别 1 2模式识别导论作业作业：有训练集资料矩阵如下表所示，现已知，N=9、N1=N2=N3=3、n=2、M=3，试问，X=(-2,2)T应属于哪一类？要求：要求：用两种解法a、三类协方差不等；b、三类协方差相等。编程，画出三类的分界线。训练样本号k 1 2 31 2 3 1 2 3特征x10 2 1-1 -2 -2 0 0 1特征x20 1 0 1 0 -1-2 -1 -2类别123模式识别导论作业 （高级题，选做）用马氏距离法进行TM图像监督分类，并给出分类结果评价（用混淆矩阵），基本要求：训练样区的选择可以用其他软件如photoshop来实现，TM用1,2,3,4,5,7这六个波段，图像格式自己定义。数据量不作要求，结果用专题图的形式表示（用不同色斑表示不同地物类别），数据自己找，分类数量不少于4类。提高要求：训练样区自己选择，数据量可以任意，算法实现按照软件工程化的原则，算法是以库或组件的形式可以发布（网上或者组件产品）。
