第5354节贝叶斯网络和主观贝叶斯方法课件.ppt_163文库

资源描述

1、王庆江王庆江计算机科学与技术系计算机科学与技术系22008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法nP173页关于图页关于图5.4的的CPT有误。有误。nP175页倒数第页倒数第3行，行，“对于对于S、L和和E”应为应为“对于对于S，L和和E”。nP178页第页第1行，行，“具有以上具有以上3个属性之一个属性之一”应为应为“同时具同时具有以上有以上3个属性个属性”。nP178页页14行，行，“结点结点E阻塞了结点阻塞了结点C和和”应为应为“结点结点S阻阻塞了结点塞了结点C和和”。nP178页页16行，行，“而对于给定结点而对于给定结点E、S和和L之间之间”应为应为“

2、而对于给定结点而对于给定结点E，S和和L之间之间”。nP180页页15行，行，“P(S|C)”应为应为“P(S|C)”。注：新印刷的可能已纠正。注：新印刷的可能已纠正。32008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法n贝叶斯网络（贝叶斯网络（Bayesian Network）q有坚实的数学理论基础；有坚实的数学理论基础；q采用采用概率概率形式的不确定性形式的不确定性表示表示和和推理推理；q20世纪世纪80年代，成功应用于专家系统。年代，成功应用于专家系统。42008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法n有向无环图有向无环图qDire

3、cted Acyclic Graph，缩写，缩写DAG；q可用于表示因果关系网。可用于表示因果关系网。n结点代表证据或结论，权代表证据或结论的不确定结点代表证据或结论，权代表证据或结论的不确定度；度；n弧代表规则（即因果关系），权代表规则的不确定弧代表规则（即因果关系），权代表规则的不确定度。度。52008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法nCondition Probability Table，缩写，缩写CPT；n对于对于所有所有父结点的父结点的每种每种指派，确定子结点的发生概率。指派，确定子结点的发生概率。n例：例：CPT包括包括qP(C|A,B),P(C

4、|A,B),P(C|A,B),P(C|A,B)qP(A),P(B)ABC62008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法n贝叶斯网络的构造方法贝叶斯网络的构造方法q确定包含哪些结点；确定包含哪些结点；q建立反映建立反映条件独立条件独立的有向无环图；的有向无环图；q指派局部概率分布，即指派局部概率分布，即CPT。n如果如果CPT包含了包含了足够的足够的条件概率，可以计算出任条件概率，可以计算出任何何联合概率联合概率，则称此网络是可计算的（即可推理，则称此网络是可计算的（即可推理的）。的）。72008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法

5、n结点及其解释结点及其解释qS(Smoker)：该患者为吸烟者：该患者为吸烟者qC(Coal miner)：该患者是煤矿工人：该患者是煤矿工人qL(Lung cancer)：他患了肺癌：他患了肺癌qE(Emphysema)：他患了肺气肿：他患了肺气肿n因果关系因果关系qS可能可能导致导致L和和EqC可能可能导致导致E。SCLE因果关系从哪里得来呢？因果关系从哪里得来呢？82008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法n是结点间增加是结点间增加连接强度连接强度的因果关系网。的因果关系网。q连接强度用条件概率表示；连接强度用条件概率表示；n例：例：P(B|A)为为A到

6、到B的连接强度；的连接强度；n例：例：P(B|AC)表示表示A、C对对B的联合作用。的联合作用。qCPT除了包含上述条件概率，还包括顶点（即无父结点除了包含上述条件概率，还包括顶点（即无父结点的结点）的的结点）的无条件概率无条件概率（即（即先验概率先验概率）。）。n贝叶斯网络贝叶斯网络=网络结构网络结构+CPT注：贝叶斯网络不允许包含注：贝叶斯网络不允许包含循环因果循环因果关系！关系！92008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法ACEBDGF贝叶斯网络的结构贝叶斯网络的结构贝叶斯网络的贝叶斯网络的完整完整CPTP(A)、P(C)、P(D)、P(B|ACD)、P

9、件独立条件独立”是贝叶斯网络中是贝叶斯网络中隐含隐含的断言（的断言（assertion）、）、假设（假设（assumption），），贝叶斯网络就是一个表示条件独立贝叶斯网络就是一个表示条件独立关系的图模型关系的图模型。n实际中，若已知实际中，若已知A在在B条件下条件下独立于独立于C，则，则P(A|BC)=P(A|B)。122008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法n事件独立事件独立q若若P(AB)=P(A)P(B)，则，则A与与B相互独立。相互独立。q性质性质2：若：若A与与B独立，且独立，且P(B)0，则，则P(A|B)=P(A)。n P(A|B)=P(A

10、B)/P(B)=P(A)P(B)/P(B)q独立和互斥独立和互斥不一会儿事不一会儿事！n若若AB=，则，则A与与B互斥，有互斥，有P(AB)=P(A)+P(B)nP(A)0，P(B)0，若若AB=，则，则P(AB)=0，A与与B互斥但不相互独立；互斥但不相互独立；n与任何事件与任何事件独立独立，但，但与任何事件与任何事件不互斥不互斥。n贝叶斯网络中的条件独立贝叶斯网络中的条件独立q若若 P(A|BC)=P(A|B)，则，则A和和C关于关于B条件独立。条件独立。一个事件的概率与另一一个事件的概率与另一事件的概率没关系事件的概率没关系两个事件不可两个事件不可能同时发生能同时发生给定某条件时给定某条

12、09学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法串行连接串行连接qA通过通过B影响影响C；qC通过通过B影响影响A；q如果给定如果给定B，则，则A和和C互不影响，这时称互不影响，这时称A和和C关于关于B条条件独立。件独立。注：所谓注：所谓“影响影响”与箭头方向无关。与箭头方向无关。ACB血糖血糖胃酸胃酸饿饿条件独立断言是合理的条件独立断言是合理的152008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法分叉连接分叉连接q如果给定如果给定A，没有信息可经由，没有信息可经由A传递给传递给A的子结点，即的子结点，即给定给定A时，时，A的子结点之间的子结点之间相

13、互相互独立，称子结点独立，称子结点B、C、F关于关于A条件独立。条件独立。ACBF162008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法汇集连接汇集连接u多个原因（多个原因（causes）有）有一个共同一个共同结果（结果（effect）。对）。对结果结果一无所一无所知时，原因之间条件独立。知时，原因之间条件独立。u当当结果或其某个子孙结果或其某个子孙已知，父结已知，父结点之间就不再独立了。点之间就不再独立了。ACBFeACBFeHK172008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法nA和和B有共同的结果有共同的结果C；n在在有向图有向图中

14、，结点中，结点C称为称为冲突子（冲突子（collider）；）；n不给定不给定C时，时，A和和B之间之间是相互独立的；是相互独立的；n给定给定C时，时，A和和B之间就之间就不再独立了。不再独立了。电池没电电池没电油箱空油箱空汽车发动不了汽车发动不了ABCDavid Papineau于于1985年发现了给年发现了给定冲突子时父结点之间的因果联系。定冲突子时父结点之间的因果联系。182008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法nHead-to-tailnTail-to-tailnHead-to-head X Y Z X Y ZY未知，路径不阻塞未知，路径不阻塞 Y已

15、知，路径被阻塞已知，路径被阻塞 X Z Y X Z YY未知，路径不阻塞未知，路径不阻塞 Y已知，路径被阻塞已知，路径被阻塞Y未知未知，路径被阻塞，路径被阻塞 Y已知已知，路径不阻塞，路径不阻塞 Z X Y ZX Y192008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法ViVb3VjVb1Vb2证据证据集集给定结点集给定结点集，Vi 和和Vj 的每个无的每个无向路经都有结点向路经都有结点Vb，如果，如果 Vb，且路径上两条弧都以，且路径上两条弧都以Vb为尾；为尾；Vb，且路径上一条弧以，且路径上一条弧以Vb 为尾，一条以为尾，一条以Vb为头；为头；Vb及其后继都不及其

16、后继都不属于属于，且路，且路径上两条弧都以径上两条弧都以Vb为头。为头。称称Vi 和和Vj 被被Vb 阻塞。阻塞。202008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法给定证据集给定证据集，当上述任一条件满足时，当上述任一条件满足时，Vb 阻阻塞塞相应的那条相应的那条路径。路径。给定证据集给定证据集，如果，如果Vi和和Vj之间的之间的所有所有路径被阻路径被阻塞，则结点集塞，则结点集可以可以D分离分离Vi和和Vj。如果证据集如果证据集可以可以D分离分离Vi和和Vj，则，则Vi和和Vj条件独条件独立于立于证据集证据集。212008-2009学年第1学期第5.1-5.2节

20、叶斯网络和主观贝叶斯方法n若若B1B2=，则，则P(B1B2|A)=P(B1|A)+P(B2|A)n证明：证明：P(B1B2|A)=P(B1B2)A)/P(A)=P(B1AB2A)/P(A)=P(B1A)+P(B2A)/P(A)=P(B1A)/P(A)+P(B2A)/P(A)=P(B1|A)+P(B2|A)条件概率定义条件概率定义事件运算分配率事件运算分配率概率定义性质概率定义性质3条件概率定义条件概率定义262008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法已知一个子结点，计算父结点的条件概率。已知一个子结点，计算父结点的条件概率。例：计算例：计算P(C|E)。SC

27、庆江计算机科学与技术系计算机科学与技术系352008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法nP182页页15行，行，LS表达式中表达式中缺少缺少一个等号。一个等号。nP188页第页第2行，行，“(300*0.02+1)”应为应为“(3001)*0.02+1)”。nP203页图页图5.15，E1和和E2，应分别为，应分别为T1和和T2。注：新印刷的可能已纠正。注：新印刷的可能已纠正。362008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法n主观贝叶斯方法主观贝叶斯方法q1976年，年，R.O.Duda等提出等提出;q用于地矿勘测系统用于地矿勘

28、测系统PROSPECTOR;q仍断言因果关系网络蕴含条件独立；仍断言因果关系网络蕴含条件独立；q引入引入LS、LN两个因子，分别表示两个因子，分别表示规则规则成立的充分性成立的充分性和必要性程度。和必要性程度。n而不是用而不是用P(xi|pai)表示连接强度，表示连接强度，pai表示表示xi的父结的父结点集。点集。372008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法n规则：规则：ABn由贝叶斯定理，由贝叶斯定理，A发生后发生后B发生的概率为发生的概率为B不发生的概率为不发生的概率为两式相除得两式相除得)()()|()|(APBPBAPABP)()()|()|(APB

29、PBAPABP )()|()()|()|()|(BPBAPBPBAPABPABP 382008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法先验几率、后验几率分别定义为先验几率、后验几率分别定义为由由定义定义LS，使得，使得)()()(BPBPBO )|()|()|(ABPABPABO )()|(BOLSABO )()|()()|()|()|(BPBAPBPBAPABPABP LS392008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法LS表示表示A真对真对B的影响程度。的影响程度。LS=时，时，P(B|A)=0，P(B|A)=1。说明说明A对

31、生的概率。)()|(BOLSABO 412008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法n规则：规则：ABn由贝叶斯定理，由贝叶斯定理，A不不发生时发生时B发生的概率为发生的概率为B不发生的概率为不发生的概率为两式相除得两式相除得)()()|()|(APBPBAPABP )()()|()|(APBPBAPABP )()|()()|()|()|(BPBAPBPBAPABPABP 422008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法先验几率、后验几率分别为先验几率、后验几率分别为且且得得)|()|()|(ABPABPABO )()()(B

32、PBPBO )()|()()|()|()|(BPBAPBPBAPABPABP )()|(BOLNABO )|()|(BAPBAPLN 432008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法LN表示表示A假（即不存在）对假（即不存在）对B的影响程度。的影响程度。LN=0时，时，P(B|A)=0。说明说明A对于对于B是逻辑必要的，即规则成立的必要性。是逻辑必要的，即规则成立的必要性。LN称作称作必要必要似然率因子。似然率因子。)()()|()|()()|(BPBPABPABPBOABOLN 442008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法n

33、LN表示表示A不存在对不存在对B发生的影响度发生的影响度qLN=1，O(B|A)=O(B)，A对对B无影响无影响n可推得可推得P(B)=P(B|A)，即，即B独立于独立于 A。qLN 1，O(B|A)O(B)，A支持支持Bn可推得可推得P(B)P(B|A)qLN P(B|A)()|(BOLNABO 452008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法nLN0，LS0，且，且LN和和LS彼此彼此不独立不独立。n证明：证明：n 理论上理论上LS1,LN1;LS1;LS=LN=11)|()|()|(1)|(1 )|()|(1 LNBAPBAPBAPBAPBAPBAPLSB

34、)P(A|P(A|B)LS时，时，当当462008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法LS0 A为真则为真则B为假，即为假，即A对对B是必然的是必然的0 LS 1 A为真时对为真时对B不利不利1 A为真时对为真时对B无影响无影响1 LS A为真时对为真时对B有利有利 A为真时对为真时对B逻辑充分逻辑充分，即，即B必然为真必然为真LN0 A为假则为假则B为假，即为假，即A对对B是必然的是必然的0 LN 1 A为假时对为假时对B不利不利1 A为假时对为假时对B无影响无影响1 1且且LN=1是合理的。这时，只能说贝叶斯是合理的。这时，只能说贝叶斯定理是不适合的。定理是

35、不适合的。nLS、LN表明了先验几率到后验几率有多大的变表明了先验几率到后验几率有多大的变化（这正好适合专家意见的表达）。化（这正好适合专家意见的表达）。482008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法例：例：“如果有石英矿，则必有钾矿带如果有石英矿，则必有钾矿带”。LS=300,LN=0.2。这意味着：发现石英矿，对判断发现钾矿带非常有利。这意味着：发现石英矿，对判断发现钾矿带非常有利。而没有发现石英矿，并不暗示一定没有钾矿带。如果而没有发现石英矿，并不暗示一定没有钾矿带。如果 LN P(B1)时，有时，有 P(B2|A)=0.02+(0.860-0.02)(

36、0.454-0.04)/(1-0.04)=0.390参见图参见图5.125.12的线性插值的线性插值AB2B1R1R2642008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法例例5.2：已知：已知A1和和A2必然发生，且必然发生，且P(B)=0.03，R1:A1B，LS1=20，LN1=1，R2:A2B，LS2=300，LN2=1，计算，计算B的的更新值。更新值。解法一解法一：P(B)=0.03O(B)=P(B)/(1 P(B)=0.0309O(B|A1)=LS1 O(B)=20 0.0309=0.619P(B|A1)=O(B|A1)/(1+O(B|A1)=0.382O

37、(B|A1A2)=LS2 O(B|A1)=185.565P(B|A1A2)=185.565/(1+185.565)=0.99464B 的概率由的概率由 0.03 更新为更新为 0.99464。B1A2A1R1R2652008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法解法二解法二：P(B)=0.03O(B)=P(B)/(1 P(B)=0.0309O(B|A1A2)=LS1 LS2 O(B|A1)=20 300 0.0309=185.4P(B|A1A2)=185.4/(1+185.4)=0.99464B 的概率由的概率由 0.03 更新为更新为 0.99464。这里内在地

38、假设：这里内在地假设：A1、A2相互独立。相互独立。例例5.2：已知：已知A1和和A2必然发生，且必然发生，且P(B)=0.03，R1:A1B，LS1=20，LN1=1，R2:A2B，LS2=300，LN2=1，计算，计算B的的更新值。更新值。B1A2A1R1R2662008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法例例5.3：已知：已知A必然发生，且必然发生，且P(B1)=0.03，P(B2)=0.01,R1:AB1，LS1=20，LN1=1；R2:B1B2，LS2=300，LN2=0.0001，计算，计算B2的更新值的更新值解：解：P(B1)=0.03；O(B1)

40、da公式蕴涵公式蕴涵条件独立条件独立语义；语义；q给定给定A时，时，B独立于独立于A，故，故P(B|A,A)=P(B|A)；q多因一果时，假设多因一果时，假设证据相互独立证据相互独立。n但实际中，多因一果时，证据之间不相互独立；但实际中，多因一果时，证据之间不相互独立；n由概率可计算出规则的由概率可计算出规则的LS和和LN，但概率往往难以准确获，但概率往往难以准确获得，故一般由专家给出。得，故一般由专家给出。)()|(2121BOLSLSLSAAABOBABABAnn 682008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法n5.1n5.2n5.4n5.9（图（图5.1

41、5中的中的E1和和E2，应分别为，应分别为T1和和T2）692008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法S1、S2、S3都必然发生；都必然发生；P(F1|S1)=0.7P(F2|S2)=0.6P(T2|S3)=0.02P(F1)=0.2P(F2)=0.4P(T1)=0.1P(T2)=0.03P(H)=0.01求求P(H|S1S2S3)HT1T2F1F20.010.030.10.40.2(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S3702008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯

42、方法)()()|()()|()|(HOHOAHOHOAHOAAHO H有直接证据有直接证据T1和和T2，但不确定，但不确定发生；发生；影响影响T1的确定发生的证据的集的确定发生的证据的集合合A为为S1,S2；影响影响T2的确定发生的证据的集的确定发生的证据的集合合A为为S3；先求先求O(H|A)和和O(H|A)，然后，然后证据合成，得证据合成，得O(H|A,A)。HT1T2F1F20.010.030.10.40.2(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S3712008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方

43、法HT1T2F1F20.010.030.10.40.2(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S3 P(F1|S1)=0.7，P(F1)=0.2 假设假设P(F1|S1)=1，计算，计算根据插值法，有根据插值法，有1818.011.0)12(1.021)()1()()|(11111111 TPLSTPLSFTPTFTF1511.0)2.07.0(2.011.01818.01.0)()|()(1)()|()()|(1111111111 FPSFPFPTPFTPTPSTP722008-2009学年第1学期第5.1-5.2节贝叶斯网络和主

44、观贝叶斯方法HT1T2F1F20.010.030.10.40.2(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S3 P(F2|S2)=0.6，P(F2)=0.4 假设假设P(F2|S2)=1，计算，计算根据插值法，有根据插值法，有2269.0)4.06.0(4.011.04808.01.0)()|()(1)()|()()|(2222121121 FPSFPFPTPFTPTPSTP4808.012.0)1100(1.01001)()1()()|(11211221 TPLSTPLSFTPTFTF732008-2009学年第1学期第5.1-5.2

45、节贝叶斯网络和主观贝叶斯方法HT1T2F1F20.010.030.10.40.2(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S3根据证据合成（见根据证据合成（见P187），及），及O(T1)=P(T1)/(1 P(T1)=0.1/(1 0.1)=0.11114702.01111.01111.02935.01111.01780.0)()()|()()|()|(1121111211 TOTOSTOTOSTOSSTO3198.04702.014702.0)|(1)|()|(211211211 SSTOSSTOSSTP742008-2009学年

46、第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法HT1T2F1F20.010.030.10.40.2(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S3 P(T1|S1,S2)P(T1)假设假设P(T1|S1,S2)=1，计算，计算根据插值法，有根据插值法，有3963.0101.0)165(01.0651)()1()()|(111 HPLSHPLSTHPHTHT1065.0)1.03198.0(1.0101.03963.001.0)(),|()(1)()|()(),|(12111121 TPSSTPTPHPTHPHPSSHP752008

48、7.00066667.010066667.0)|(1)|()|(333 SHPSHPSHO762008-2009学年第1学期第5.1-5.2节贝叶斯网络和主观贝叶斯方法HT1T2F1F20.010.030.10.40.2(300,0.0001)(65,0.01)(100,0.00001)(2,0.000001)S2S1S3根据证据合成（见根据证据合成（见P187）0706.00101.00101.00067.00101.01065.0)()()|()(),|(),|(321321 HOHOSHOHOSSHOSSSHO0659.00706.010706.0),|(1),|(),|(321321321 SSSHOSSSHOSSSHP

展开阅读全文