1、主 讲：谢 榕 武汉大学国际软件学院l 对于许多比较复杂的人工智能系统，往往含有复复杂性杂性、不完全性不完全性、模糊性模糊性或不确定性不确定性。哪一种图案的颜色是“红红”色？不确定性推理不确定性推理 vs.确定性推理 不确定性推理不确定性推理：又称不精确推理(Inexact Reasoning)，是相对于确定性推理提出来的。 确定性推理确定性推理：又称精确推理。 推理过程按照必然因果关系或严格逻辑推论进行。 从已知事实出发，通过运用相关知识逐步推出结论的思维过程。其中，获得的推理结论也是严格按照一定的规则予以肯定或否定。l 不确定性推理不确定性推理 (Uncertainty Reasoning
2、)：推理中所使用的前提条件、判断是不确定的或者是模糊的情况，因而推理所得出的结论与判断也是不精确的、不确定或模糊的。l 现实世界中，大量的事物和现象都是变化的、非确定性的。对机器智能推理的研究，不能仅仅停留在确定性推理层次上，还必须开展对不确定性推理的表示与处理的研究，使机器对人类思维的模拟更接近于人类的思维使机器对人类思维的模拟更接近于人类的思维。l 在人工智能研究中，处理不确定性问题并进行不确定性的推理占有重要的地位。 研究方向研究方向：关于机器推理理论和研究方法的探讨。例例1 1：中文分词：中文分词例：武汉市长江大桥 1.武汉市/长江大桥 2.武汉/市长/江大桥这两个分词，到底哪个更靠谱
3、呢？例例2 2： 规则规则： 如果流鼻涕,则感冒但非过敏性鼻炎(0.9);或过敏性鼻炎但非感冒(0.1)； 如果眼发炎,则感冒但非过敏性鼻炎(0.8);或过敏性鼻炎但非感冒(0.05)。 注：括号中数字表示规则前提对结论的支持程度。 事实事实： 小王流鼻涕(0.9) 小王眼发炎(0.4) 问问：小王患什么病？例例3 3：如何确定某种商品受顾客欢：如何确定某种商品受顾客欢迎程度的评判？迎程度的评判？方面 很欢迎 较欢迎 不太欢迎 不欢迎 权重-质量 高 较高 一般 差 0.3价格 低 较低 一般 高 0.25品种 多 较多 一般 少 0.2式样 新 较新 一般 旧 0.2包装 好 较好 一般 差
4、 0.05u设顾客从质量质量、价格价格、品种品种、式样式样和包装包装五个方面来评判商品，即评判因素的集合为：X=质量，价格，品种，式样，包装u设顾客对商品总的评价是很欢迎很欢迎、较欢迎较欢迎、不太欢迎不太欢迎、不欢迎不欢迎四个档次，即评语集合为：Y=很欢迎，较欢迎，不太欢迎，不欢迎第四章第四章 不确定性推理不确定性推理内容提要：概述概率推理主观Bayes方法确定性理论证据理论1.1.概述概述 不确定性推理的原因和特征 不确定性的表示 不确定性推理的方法例：一名患者有发烧、咳嗽的症状，到底是感冒还是肺炎？ 规则的不确定性规则的不确定性 研究方法的不确定性研究方法的不确定性P(A)=1 (1)P(
5、B)=0 (2)由概率能否得到A事件一定发生，B事件绝对不会发生的结论？ 证据的不确定性证据的不确定性例：1+1=2 （1） 1+1=10 （2）两式哪一个是不正确的？1.1 1.1 不确定性推理的原因和特征不确定性推理的原因和特征“三性”的存在，决定推理的最后结果具有不确定但却近乎合理不确定但却近乎合理的特性。证据不足 由于规则的不确定性，使得结论不能贸然肯定。 按照3以上的进制，前一式正确。 按照2进制，前一式无定义，后一式才是正确的。 显然不能，这是由于研究方法的不确定性决定了的。 但A事件比B事件发生的可能性要大得多。你认为不确定性包括哪些方面？你认为不确定性包括哪些方面？ 随机性 模
6、糊性 不完全性 不一致性不确定性分类不确定性分类l 随机性随机性：对一个命题(或事件)的真实性不能完全肯定，而只能对其为真的可能性给出某种估计。例：如果乌云密布并且电闪雷鸣，则很可能要下暴雨。l 模糊性模糊性：对一个命题中所出现的言词，无明确的内涵和外延，而是模糊不清的。例：小王是个高个子。l 不完全性不完全性：对事物所认识的信息或知识不全面、不完整、不充分。例：破案过程中，警方所掌握的关于罪犯的有关信息往往是不完全的。但办案人员仍能通过分析、推理等手段而最终破案。l 不一致性不一致性：推理过程中发生前后不相容的结论；或者随着时间的推移或者范围的扩大，原来一些成立的命题变得不成立、不适合。例：
7、牛顿定律对于宏观世界是正确的，但对于微观世界和宇观世界却是不适合的。1.2 1.2 不确定性的表示不确定性的表示 关于证据的不确定性表示 关于结论的不确定性表示l 关于证据的不确定性表示关于证据的不确定性表示 一般通过对事实赋于一个介于0和1之间的系数来表示事实的不确定性。 1-完全确定，0-完全不确定。 这个系数被称为可信度可信度(也有一些专家系统，如MYCIN和EXPERT等，取可信度的范围为-1到+1)。 可信度数值越大，表示相应的知识或证据越接近于“真”；可信度的取值越小，表示相应的知识或证据越接近于 。l 关于结论的不确定性表示关于结论的不确定性表示 关于结论的不确定性,也叫规则的不
8、确定性，表示当规则的条件被完全满足时，产生某种结论的不确定程度。 以赋予规则在0和1之间的系数的方法来表示。u例：有以下规则：p如果启动器发生刺耳的噪声；那么这个启动器坏的可能性是0.8。p以上规则表示，如果“启动器发生刺耳的噪声”这事实完全肯定的可信度为1.0，那么得出“这个启动器坏”的结论的可信度为0.8。1.3 1.3 不确定性推理的方法不确定性推理的方法 概率推理 主观Bayes方法 确定性理论（可信度方法） 证据理论（DS理论） 模糊推理 2.2.概率推理概率推理 概率的基本性质 概率的计算公式 概率推理方法 举例2.1 2.1 概率的基本性质概率的基本性质l什么是概率？ 性质性质1
9、 1：对于任一事件A，有0P(A)1机会率或机率、可能性，是对随机事件发生的可能性的度量。 性质性质2 2：必然事件D的概率P(D)=1；不可能事件的概率P()=0 性质性质3 3：若A、B是两个事件，则P(AB)=P(A)+P(B)-P(AB)121()()().()kikiPAP AP AP A 性质性质4 4：若A、B是两个互斥事件，则P(AB)=P(A)+P(B) 若事件A1，A2，Ak是两两互不相容的事件，则 性质性质5 5： A、B是两个事件，且AB，即事件B的发生必然导致事件A的发生，则P(AB)=P(A)-P(B), P(AB)表示事件A发生而事件B不发生。 性质性质6 6：对
10、任一事件A，有P()=1-P(A), 表示A的逆。2.2 2.2 概率的计算公式（概率的计算公式（1 1）l 条件概率与乘法公式条件概率与乘法公式()( ) (|)( ) (|)P ABP B P A BP A P B A12121312121(.)() (|) (|). (|.)nnnP A AAP A P AA P AA AP AA AA()( ) (|) (|)P ABCP A P B A P C AB 乘法公式乘法公式：()(|)( )P ABP A BP B 条件概率条件概率：在事件B发生的条件下，事件A发生的概率，记作P(A|B)，即事件A在事件B已发生的条件下的条件概率。 当P(
11、B)0时，规定2.2 2.2 概率的计算公式（概率的计算公式（2 2）l 独立性公式独立性公式 若事件A与事件B满足P(A|B)=P(A)，则称事件A关于事件B是独立的。 A与B相互独立的条件：P(AB)=P(A)P(B)2.2 2.2 概率的计算公式（概率的计算公式（3 3）l 全概率公式全概率公式 若事件B1，B2， 满足：BiBj=, ij则对于任一事件A，有：1()1,()0,1,2.iiiPBP BinP(A)=P(A | B1) P(B1) + P(A | B2) P(B2) + . + P(A | Bn) P(Bn)2.2 2.2 概率的计算公式（概率的计算公式（4 4）l 贝叶
12、斯贝叶斯(Bayes)(Bayes)公式公式 若事件B1，B2，满足全概率条件，则对于任一事件A，P(A)0,有1() (|)(|)() (|)iiiniiiP B P A BP BAP B P A B(|) ( )(|)( )(|) ( )(|)( )P A B P BP B AP AP B A P AP A BP BP(A)=P(A | B1) P(B1) + P(A | B2) P(B2) + . + P(A | Bn) P(Bn)l 全概率公式全概率公式A与B相互独立的条件：P(AB)=P(A)P(B)l 独立性公式独立性公式()(|)( )P ABP A BP B()( ) (|)(
13、 ) (|)P ABP B P A BP A P B A12121312121(.)() (|) (|). (|.)nnnP A AAP A P AA P AA AP AA AA()( ) (|) (|)P ABCP A P B A P C ABl 条件概率与乘法公式条件概率与乘法公式概率的计算公式概率的计算公式1() (|)(|)() (|)iiiniiiP B P A BP BAP B P A Bl 贝叶斯贝叶斯( (BayesBayes) )公式公式(|) ( )(|)( )P A B P BP B AP A(|) ( )(|)( )P B A P AP A BP B2.3 2.3 概率
14、推理方法概率推理方法 () (|)(|)( )P H P E HP H EP EBayes公式：1() (|)(|),1,2,.,() (|)iiinjjjP H P E HP HEinP HP E HBayes公式： 若一个证据E支持多个假设H1，H2，Hn,即if E E Then H Hi i,i=1,2,n，则 若有多个证据E1，E2，Em和多个结论H1，H2，Hn,则1212121() (|) (|)(|)(|.)() (|) (|)(|)iiimiimnjjjmjjP H P EH P EHP EHP HE EEP HP EHP EHP EHBayes公式： 设有产生式规则：if
15、E E then H H，证据E E不确定性的概率为P(E)，求在证据E E下结论H H发生的概率概率P(H|E)P(H|E)。先验概率条件概率2.4 2.4 举例举例 例1：设H1，H2，H3为三个结论，E为支持这些结论的证据，已知：P(H1)=0.3，P(H2)=0.4，P(H3)=0.5P(E|H1)=0.5，P(E|H2)=0.3，P(E|H3)=0.4求P(H1|E)，P(H2|E)和P(H3|E)的值111112233() (|)(|)() (|)() (|)() (|)0.150.320.150.120.2P H P E HP HEP H P E HP HP E HP HP E
16、H23(|)0.26(|)0.43P HEP HE解： 例2：已知：P(H1)=0.4，P(H2)=0.3，P(H3)=0.3P(E1|H1)=0.5，P(E1|H2)=0.6，P(E1|H3)=0.3P(E2|H1)=0.7，P(E2|H2)=0.9，P(E2|H3)=0.1求P(H1|E1E2)，P(H2|E1E2)和P(H3|E1E2)的值11211121111212122231323(|)() (|) (|)() (|) (|)() (|) (|)() (|) (|)0.45P HE EP H P EH P EHP H P EH P EHP HP EHP EHP HP EHP EH21
17、2312(|)0.52(|)0.03P HE EP HE E解：1() (|)(|)() (|)iiiiiP H P E HP Hi EP H P E HBayes公式：实际不易做到实际不易做到主观Bayes方法3. 3. 主观主观BayesBayes方法方法 设有产生式规则：if E E then H H，证据E E不确定性的概率为P(E)，求在证据E E下结论H H发生的概率概率P(H|E)P(H|E)。先验概率条件概率 R.O.Duda、P.E.Hart等人1976年在Bayes公式的基础上，进行改进，提出主观Bayes方法。 最早用于处理不确定性推理的方法之一，已在地矿勘探专家系统PR
18、OSPECTOR中得到成功应用。 若有事件A1, A2,，An彼此独立，且B为事件A1A2An的子事件，P(Ai)0(i=1,2,n)，P(B)0，那么Bayes公式可表示为：P(Ai)为事件Ai的先验概率先验概率；P(B|Ai)为事件Ai发生条件下事件B的条件概率条件概率；P(Ai|B)为事件B发生条件下事件Ai的条件概率，称为称为后验概率后验概率。 Bayes公式就是从先验概率推导出后验概率从先验概率推导出后验概率的公式。3.1 几个基本概念 几率函数几率函数：x的出现概率与不出现概率之比，即 随P(x)的加大，O(x)也加大 当P(x)=0时，有O(x)0;当P(x)=1时，有O(x)
19、取值于0,1的P(x)被放大为取值于0,的O(x)。( )( )1( )P xO xP x(|)(|)P E HLSP EH 充分性度量充分性度量：E对H的支持程度，取值于0, ,由专家给出，定义为(|)1(|)(|)1(|)PE HP E HLNPEHP EH 必要性度量必要性度量：E对的支持程度，取值范围为0,+，由专家经验给出，定义为：3.2 基于主观Bayes方法的不确定性推理 IF E THEN(LS,LN) H (P(H)，P(H)是专家给出的先验概率，推理由P(H)，P(E)，LS和LN求出P(H|E)或P(H|E)。 目标目标：根据前提E的概率P(E），利用LS和LN，把结论H
20、的先验概率P(H)更新为后验概率P(H|E)。 基于主观Bayes方法的不确定性推理l 证据证据E E确定必出现时，确定必出现时，即P(E)=P(E|S)=1(|)(|)()/( )PH EP EHPHP E(|)(|)()/( )P H EP E HP HP E把先验概率P(H)更新为后验概率P(H|E)的计算公式(|)(|)()(|)(|)()P H EP E HP HPH EP EHPH()(|)(1)() 1LSP HP H ELSP H(|)(|)()()1(|)(|)()()P H EP E HP HP HLSP H EP EHPHPH基于主观Bayes方法的不确定性推理l 证据证
21、据E E确定必不出现时，确定必不出现时，即P(E)=P(E|S)=0把先验概率P(H)更新为后验概率P(H|E)的计算公式()(|)(1)() 1LNP HP HELNP H(|)(|)()/()P HEPE HP HPE(|)(|)()/()PHEPEHPHPE(|)(|)()(|)(|)()P HEPE HP HPHEPEHPH(|)(|)()()1(|)(|)()()P HEPE HP HP HLNP HEPEHPHPH基于主观Bayes方法的不确定性推理l 当证据当证据E E不确定时不确定时，即0P(E|S)0m1(A)0，m2(B)0m2(B)0，使用Dempster组合规则将导出：
22、1212()()()( )( )0BCmm B m Cm B m C 与概率分配函数的定义冲突，将Dempster 组合规则进行修正：120()()(),BCAAmAKmB mCA 其中K为规范数，且 1211()()BCKmB mC规范数K的引入，实际上是把空集所丢弃的正交和按比例地补到非空集上，使m(A)仍然满足()1Am A如果所有交集均为空集，则出现K=，显然，Dempster组合规则在这种情况下将失去意义。5.25.2基于证据理论的不确定性推理基于证据理论的不确定性推理l 步骤步骤：建立问题的识别框架给幂集2定义基本概率分配函数计算所关心的子集A2（即的子集）的信任函数值Bel(A)
23、、似真函数值Pl(A)由Bel(A)、Pl(A)得出结论 例：设有 规则规则： 如果流鼻涕,则感冒但非过敏性鼻炎(0.9);或过敏性鼻炎但非感冒(0.1)； 如果眼发炎,则感冒但非过敏性鼻炎(0.8);或过敏性鼻炎但非感冒(0.05)。 注：括号中数字表示规则前提对结论的支持程度。 事实事实： 小王流鼻涕(0.9) 小王眼发炎(0.4) 问问：小王患什么病？l 解：用证据理论证据理论求解医疗诊断问题。m=规则前提事实可信度规则结论可信度 取基本概率分配函数取基本概率分配函数： 取识别框架取识别框架：=h1,h2,h3，其中， h1表示“感冒但非过敏性鼻炎”； h2表示“过敏性鼻炎但非感冒”；
24、h3表示“同时得了两种病”m2(h1)=0.40.8=0.32m2(h2)=0.40.05=0.02m2(h1，h2，h3)=1-m2(h1)-m2(h2)=1-0.32-0.02=0.66m2(A)=0 (A为的其它子集)m1(h1)=0.90.9=0.81m1(h2)=0.90.1=0.09m1(h1,h2,h3)=1-m1(h1)-m1(h2)=1-0.81-0.09=0.1 m1(A)=0 (A为的其它子集)规则规则：如果流鼻涕,则感冒但非过敏性鼻炎(0.9);或过敏性鼻炎但非感冒(0.1)如果眼发炎,则感冒但非过敏性鼻炎(0.8);或过敏性鼻炎但非感冒(0.05)事实事实：小王流鼻涕
25、(0.9)小王眼发炎(0.4) 将两个概率分配函数合并将两个概率分配函数合并： K=1/1-m1(h1)m2(h2)+m1(h2)m2(h1) =1/1-0.810.02+0.090.32 =1/10.045=1/0.955=1.05m(h1)=Km1(h1)m2(h1)+m1(h1)m2(h1,h2,h3+m1(h1,h2,h3)m2(h1)=1.050.8258=0.87m(h2)=Km1(h2)m2(h2)+m1(h2)m2(h1,h2,h3 +m1(h1,h2,h3)m2(h2)=1.050.06320.066规则规则：如果流鼻涕,则感冒但非过敏性鼻炎(0.9);或过敏性鼻炎但非感冒(
26、0.1)如果眼发炎,则感冒但非过敏性鼻炎(0.8);或过敏性鼻炎但非感冒(0.05)事实事实：小王流鼻涕(0.9)小王眼发炎(0.4)m(h1,h2,h3)=1-m(h1)-m(h2)=1-0.87-0.066=0.064 由由似真函数求似真似真函数求似真度度： Pl(h1)=1-Bel(h1)=1-Bel(h2,h3) =1-m(h2+m(h3)=1-0.0660=0.934 Pl(h2)=1-Bel(h2)=1-Bel(h1,h3) =1-m(h1)m(h3)=1-0.870=0.13 由信任函数求信任度由信任函数求信任度： Bel(h1)=m(h1)=0.87 Bel(h2)=m(h2)=0.066 结论： “感冒但非过敏性鼻炎”为真的信任度为0.87，非假的信任度为0.934； “过敏性鼻炎但非感冒”为真的信任度为0.066，非假的信任度为0.13。 看来该患者是感冒了。 规则规则：如果流鼻涕,则感冒但非过敏性鼻炎(0.9);或过敏性鼻炎但非感冒(0.1)如果眼发炎,则感冒但非过敏性鼻炎(0.8);或过敏性鼻炎但非感冒(0.05)事实事实：小王流鼻涕(0.9)小王眼发炎(0.4) 证据理论证据理论是被推崇的处理随机性不确定性的好方法，受到人工智能特别是专家系统领域的广泛重视，并且已为许多专家系统所采用。
