1、2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室1/137l不确定人工智能：研究人工智能领域中不确不确定人工智能：研究人工智能领域中不确定性问题解决的理论、方法和技术定性问题解决的理论、方法和技术2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室2/137知识的不确定性知识的不确定性数学基础数学基础贝叶斯网络贝叶斯网络2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室3/137 智能的不确定性必然反映在知识中。智能的不确定性必然反映在知识中。知识的不确定性首先反映在语言的不确定知
2、识的不确定性首先反映在语言的不确定性上，其次反映在常识知识上（知识的知识性上，其次反映在常识知识上（知识的知识元知识）。元知识）。语言中的基本单元是语言值，对应一个个语言中的基本单元是语言值，对应一个个概念，概念的不确定性有多个方面，主要有随概念，概念的不确定性有多个方面，主要有随机性和模糊性。机性和模糊性。2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室4/137 随机性随机性l 随机的客观性随机的客观性 示例：掷骰子示例：掷骰子 特点：可重复观察，在观察之前知道所有可能的特点：可重复观察，在观察之前知道所有可能的结果，但不知道到底哪一个结果会出现。结
3、果，但不知道到底哪一个结果会出现。来源：系统中的非线性来源：系统中的非线性客观世界是随机的，映射到人脑的客观世界，即主观客观世界是随机的，映射到人脑的客观世界，即主观世界也是随机的世界也是随机的2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室5/137 随机性随机性l 随机性的魅力随机性的魅力 世界三大难题：生命的产生、宇宙的起源以及人脑是世界三大难题：生命的产生、宇宙的起源以及人脑是如何工作的。如何工作的。随机性是创造性不可缺少的因素。随机性是创造性不可缺少的因素。小概率事件：小概率事件：“机遇机遇”随机性使我们有了追求与奋斗的源动力。随机性使我们有了
4、追求与奋斗的源动力。研究随机性的理论：概率论与数理统计研究随机性的理论：概率论与数理统计2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室6/137 模糊性模糊性l 模糊的客观性模糊的客观性 示例：古希腊示例：古希腊“秃头悖论秃头悖论”命题命题A：“一根头都没有的人肯定是秃头一根头都没有的人肯定是秃头”命题命题B:：“比秃头多一根头发的还是秃头比秃头多一根头发的还是秃头”反复精确推理会得到：反复精确推理会得到：命题命题C：“满头乌发是秃头满头乌发是秃头”悖论悖论 模糊性不但反映在客观事物的类属上，更反映在人们的思模糊性不但反映在客观事物的类属上，更反映在人
5、们的思维过程中，反映在人类对主观世界的认知中维过程中，反映在人类对主观世界的认知中2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室7/137 模糊性模糊性l 模糊性的魅力模糊性的魅力 清晰性：非此即彼清晰性：非此即彼 模糊性：亦此亦彼模糊性：亦此亦彼 不相容原理：当系统复杂度提高时，对其精确而不相容原理：当系统复杂度提高时，对其精确而有意义的认识和描述能力就会随之下降。有意义的认识和描述能力就会随之下降。模糊性使我们的生活简单而有效。模糊性使我们的生活简单而有效。2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室8/
6、137 其它不确定性其它不确定性 知识的不完备性：知识内容的不完整、知知识的不完备性：知识内容的不完整、知识结构的不完备等。识结构的不完备等。知识的不谐调性：知识内在的矛盾、不协知识的不谐调性：知识内在的矛盾、不协调的程度可以依次为冗余、干扰、冲突等。调的程度可以依次为冗余、干扰、冲突等。知识的非恒常性：知识随时间的变化而变知识的非恒常性：知识随时间的变化而变化的特性。化的特性。2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室9/137 概率理论概率理论 模糊集理论模糊集理论 粗糙集理论粗糙集理论 混沌与分析混沌与分析 核函数与主曲线核函数与主曲线 云模
7、型云模型 2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室10/137 模糊集理论模糊集理论 系统科学家扎德（系统科学家扎德（Zadeh L.A.）1965年发表了年发表了Fuzzy Sets，创立了模糊集理论。，创立了模糊集理论。经典集合：元素或者属于、或者不属于一个集合。经典集合：元素或者属于、或者不属于一个集合。模糊集合：认为元素和集合之间还有第模糊集合：认为元素和集合之间还有第3种关系：种关系：在某种程度上属于，属于的程度用在某种程度上属于，属于的程度用0,1之间的一个数之间的一个数值表示，称为隶属度。值表示，称为隶属度。2023-1-2合肥工业
8、大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室11/137 一般地，为研究某事物的规律性，总是先给定义目标集，如一般地，为研究某事物的规律性，总是先给定义目标集，如研究年龄规律，取研究年龄规律，取0，130，它表达了问题的总范围，称为，它表达了问题的总范围，称为论论域域，一般记为，一般记为U。下面在论域。下面在论域U上定义模糊集上定义模糊集定义定义 设设A是论域是论域U到到0，1的一个映射，即的一个映射，即 A：U00，11称称A是是U上的模糊集，而函数上的模糊集，而函数A（）称为模糊集称为模糊集A的隶的隶属函数，属函数，A（x)称为称为x对模糊集对模糊集A的隶属度。的隶属度
9、。数学基础数学基础模糊集模糊集x|A(x)2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室12/137 模糊集理论模糊集理论 模糊集合模糊集合A将论域将论域U划分为划分为3部分，核由部分，核由U中完全属于中完全属于A 的元素组成，外部由的元素组成，外部由U中完全不属于中完全不属于A的元素组成，边界由的元素组成，边界由U中部分属于中部分属于A的元素组成。的元素组成。模糊集合的一个基本问题就是如何确定一个明晰的隶属模糊集合的一个基本问题就是如何确定一个明晰的隶属函数，但至今没有严格的确定方法，通常靠直觉、经验、统函数，但至今没有严格的确定方法，通常靠直觉、经
10、验、统计、排序、推理等确定。计、排序、推理等确定。2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室13/137 模糊集理论模糊集理论 隶属函数隶属函数6种形态：种形态：（1）线性隶属函数：）线性隶属函数：（2）隶属函数：隶属函数：（3）凹（凸）形隶属函数：）凹（凸）形隶属函数：（4）柯西隶属函数：）柯西隶属函数：（5）岭形隶属函数：）岭形隶属函数：（6）正态（钟形）隶属函数：）正态（钟形）隶属函数：kxxuA1)(kxAexu)(kAaxxu1)()1/(1)(2kxxuA2/)()/(sin()2/1(2/1)(abxabxuA2/)(exp)(22b
11、axxuA2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室14/137模糊集理论模糊集理论如：考虑年龄集如：考虑年龄集U=0,100，A=“年老年老”，A也是一个年龄集，也是一个年龄集，u=20 A，40 呢？呢？查德给出了查德给出了 “年老年老”集函数刻画集函数刻画:10050)550(1(5000)(12uuuuA10U50100数学基础数学基础模糊集模糊集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室15/137模糊集理论模糊集理论 再如，再如，B=“年轻年轻”也是也是U的一个子集，只是不同的年龄的一个子集
12、，只是不同的年龄段隶属于这一集合的程度不一样，查德给出它的隶属函数：段隶属于这一集合的程度不一样，查德给出它的隶属函数：10025)525(1(2501)(12uuuuB102550UB（u）数学基础数学基础模糊集模糊集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室16/137模糊集应用：综合评判模糊集应用：综合评判是综合决策的内容。例：购置电脑评判 某同学想购买一台电脑，他关心电脑的以下几个指标：“运算功能（数值、图形等）”；“存储容量（内、外存）”；“运行速度（CPU、主板等）”；“外设配置（网卡、调制调解器、多媒体部件等）”；价格”。于是请同宿舍
13、同学一起去买电脑。为了数学处理简单，先令数学基础数学基础模糊集模糊集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室17/1371u=“运算功能（数值、图形等）”；2u=“存储容量（内、外存）”；3u=“运行速度（CPU、主板等）”；4u=“外设配置（网卡、调制调解器、多媒体部件等）”；5u=“价格”。,54321uuuuuU 称因素集。数学基础数学基础模糊集模糊集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室18/137评语集,4321vvvvV 其中1v=“很受欢迎”；2v=“较受欢迎”；3v=“不太受欢迎”
14、；=“不受欢迎”；4v任选几台电脑，请同学和购买者对各因素进行评价。若对于运算功能 有20%的人认为是“很受欢迎”，50%的人认为“较受欢迎”，30%的人认为“不太受欢迎”，没有人认为“不受欢迎”，则 的单因素评价向量为,1u1u)0,3.0,5.0,2.0(1R数学基础数学基础模糊集模糊集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室19/137同理，对存储容量 ，运行速度 ，外设配置 和价格2u3u4u分别作出单因素评价，得5u)1.0,5.0,3.0,1.0(2R)1.0,5.0,4.0,0(3R)3.0,6.0,1.0,0(4R组合成评判矩阵4
15、,R3,R2,R1,R5(0.5,0.3,0.2,0.0)R 5RR数学基础数学基础模糊集模糊集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室20/1370.02.03.05.03.06.01.00.01.05.04.00.01.05.03.01.00.03.05.02.0R据调查，近来用户对微机的要求是：工作速度快，外设配置较齐全，价格便宜，而对运算和存储量则要求不高。于是得各因素的权重分配向量：(0.1,0.1,0.3,0.15,0.35)A 作模糊变换：存储容量 运行速度 外设配置 价格运算功能 数学基础数学基础模糊集模糊集2023-1-2合肥工
16、业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室21/137BA R(0.1 0.1 0.3 0.15 0.35)0.02.03.05.03.06.01.00.01.05.04.00.01.05.03.01.00.03.05.02.0(0.10.2)(0.10.1)(0.30.0)(0.150.0)(0.350.5),(0.10.5)(0.10.3)(0.30.4)(0.150.1)(0.350.3),(0.10.3)(0.10.5)(0.30.5)(0.150.6)(0.350.2),(0.10.0)(0.10.1)(0.30.1)(0.150.3)(0.350.0)数学基
17、础数学基础模糊集模糊集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室22/137(0.10.10.00.00.35,0.10.10.30.10.3,0.10.10.30.150.2,0.00.10.10.150.0)15.0,3.0,3.0,35.0(数学基础数学基础模糊集模糊集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室23/137若进一步将结果归一化得：)14.0,27.0,27.0,32.0(B结果表明，用户对这种微机表现为“最受欢迎”的程度为0.32，“较受欢迎”和“不太受欢迎”的程度为0.27，“不
18、受欢迎”的程度为0.14。按最大隶属原则，结论是：“很受欢迎”。数学基础数学基础模糊集模糊集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室24/137“粗糙集粗糙集”（Rough Sets RS）19821982年波兰数学家年波兰数学家Z.PawlakZ.Pawlak首次提出首次提出将将边界线区域边界线区域定义为定义为“上近似集上近似集”与与“下近似集下近似集”的差的差集集指出指出在在“真真”、“假假”二值之间的二值之间的“含糊度含糊度”是可计算是可计算的的给出计算含糊元素数目的计算公式给出计算含糊元素数目的计算公式借鉴了集合论中的借鉴了集合论中的“等
19、价关系等价关系”（不可区分关系）（不可区分关系）求取大量数据中的最小不变集合（称为求取大量数据中的最小不变集合（称为“核核”）求解最小规则集（称为求解最小规则集（称为“约简约简”）数学基础数学基础粗糙集粗糙集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室25/137粗糙集理论中的一些基本观点粗糙集理论中的一些基本观点“概念概念”就是对象的集合就是对象的集合“知识知识”就是将对象进行分类的能力就是将对象进行分类的能力(“各从其类各从其类”)“知识知识”是关于对象的属性、特征或描述的刻划是关于对象的属性、特征或描述的刻划不可区分关系表明两个对象具有相同的信
20、息不可区分关系表明两个对象具有相同的信息提出上近似集、下近似集、分类质量等概念提出上近似集、下近似集、分类质量等概念数学基础数学基础粗糙集粗糙集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室26/137l“知识知识”的定义的定义使用等价关系集使用等价关系集R对离散表示的空间对离散表示的空间U进行划分，进行划分，知识就是知识就是R对对U划分的结果。划分的结果。l“知识库知识库”的形式化定义的形式化定义等价关系集等价关系集R中所有可能的关系对中所有可能的关系对U的划分的划分表示为：表示为：K=(U,R)基本概念基本概念数学基础数学基础粗糙集粗糙集2023-
21、1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室27/137l“信息系统信息系统”的形式化定义的形式化定义 S=U,Q,V,f，U：对象的有限集 Q：属性的有限集，Q=CD，C是条件属性子集，D是决策属性子集 V：，Vp是属性P的域 f：U Q V是总函数，使得 对每个xi U,q Q,有f(xi,q)Vql 一个关系数据库可看作一个信息系统，其一个关系数据库可看作一个信息系统，其“列列”为为“属性属性”，“行行”为为“对象对象”。PApVV数学基础数学基础粗糙集粗糙集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室28/1
22、37l 不可区分（等价、不分明）关系不可区分（等价、不分明）关系 U为论域，为论域，R是是U U上的等价上的等价(Equivalence)关系（即满关系（即满足自反、对称、传递性质）足自反、对称、传递性质）A=U,R称为近似空间，称为近似空间，R为不分明关系为不分明关系(indiscernibility，或不可区分关系、等价关系或不可区分关系、等价关系)若若x,y U，(x,y)R，则则x,y在在A中是不分明的（不可区中是不分明的（不可区分的）分的）l 基本集合（基本集合（Elementary set）/原子原子(Atom)关系关系R的等价类的等价类(Equivalence classes)U
23、/R表示近似空间表示近似空间A上所有的基本集合（原子）上所有的基本集合（原子）数学基础数学基础粗糙集粗糙集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室29/137l 不可区分（等价、不分明）关系（续）不可区分（等价、不分明）关系（续）设设P Q，xi,xj U,定义二元关系定义二元关系IND P 称为称为不分明不分明关系关系为：为：称称xi,xj在在S中关于属性集中关于属性集P是不分明的，当且仅当是不分明的，当且仅当p(xi)=p(xj)对所有的对所有的p P成立，即成立，即xi,xj不能用不能用P中的属中的属性加以区别。性加以区别。若若x,y U，
24、(x,y)R，则则x,y在在A中是不分明的（不中是不分明的（不可区分的可区分的）对所有的对所有的p P，IND P 是是U上一种的等价关系上一种的等价关系)()(,|),()(jijixpxpPpUUxxPIND数学基础数学基础粗糙集粗糙集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室30/137不可区分关系（等价关系）示例不可区分关系（等价关系）示例数学基础数学基础粗糙集粗糙集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室31/137可知，U=1,2,3,4,5,6R=2 weather,road,time,
25、accident 若P=weather,road，则xIND(p)=x INDweather xINProad =1,3,6,2,5,4 1,2,4,3,5,6 =1,2,4,3,6,5 数学基础数学基础粗糙集粗糙集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室32/137l 集合的上近似集合的上近似&下近似下近似 在信息系统在信息系统S=U,Q,V,f中，设中，设X U是个体全域上的是个体全域上的子集，子集，P是是U上的等价关系，则上的等价关系，则X的下和上近似集及边界的下和上近似集及边界区域分别为：区域分别为：:/XYPUYXP:/XYPUYXPX
26、PXPXBndP)(是是U U上必然被分类的那些元素的集合，即包含在上必然被分类的那些元素的集合，即包含在X X内的最大可定义集；内的最大可定义集；是是U U上可能被分类的那些元素的集合，即包含上可能被分类的那些元素的集合，即包含X X的最小可定义集。的最小可定义集。Bnd(X)Bnd(X)是既不能在是既不能在X X U U上被分类，又不能在上被分类，又不能在U-XU-X上被分类的那些元素的集上被分类的那些元素的集合。合。数学基础数学基础粗糙集粗糙集XPXP2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室33/137示例示例数学基础数学基础粗糙集粗糙集设
27、X 表示找到了好工作的人的集合，则X=马丽，刘保，赵凯,设I 表示属性教育 程度所构成的一个等效关系，根据教育程度的不同，该论域被分割为四个等效类：王治，马丽,李得,刘保,赵凯.王治和马丽在 同一个等效类中，他们都为高中文化程度，是不可分辨的.则：集合X 的下近似 =刘保，赵凯集合X 的上近似 =刘保，赵凯，王治，马丽集合X 的边界区 BND(X)=王治，马丽集合X 的负区为 N EG(x)=李得XPXP2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室34/137 集合的上、下近似概念示意 XAprA XAprAX数学基础数学基础粗糙集粗糙集2023-1
28、-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室35/137粗糙集理论的优点及局限性粗糙集理论的优点及局限性l 主要优点主要优点 除数据集之外，无需任何先验知识（或信息）除数据集之外，无需任何先验知识（或信息）对不确定性的描述与处理相对客观对不确定性的描述与处理相对客观【说明说明】：Bayes理论、模糊集理论、证据理论等都理论、模糊集理论、证据理论等都需要先验知识，具有很大的主观性。需要先验知识，具有很大的主观性。数学基础数学基础粗糙集粗糙集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室36/137l 局限性局限性 缺乏处理
29、不精确或不确定原始数据的机制缺乏处理不精确或不确定原始数据的机制 对含糊概念的刻划过于简单对含糊概念的刻划过于简单 无法解决所有含糊的、模糊的不确定性问题无法解决所有含糊的、模糊的不确定性问题 需要其它方法的补充需要其它方法的补充 l 解决办法解决办法与模糊集理论相结合与模糊集理论相结合与与Dempster-ShaferDempster-Shafer证据理论相结合证据理论相结合 数学基础数学基础粗糙集粗糙集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室37/137粗糙集理论在知识发现中的作用粗糙集理论在知识发现中的作用l在数据预处理过程中，粗糙集理论可
30、以用于对粗糙集理论可以用于对遗失数据的填补。遗失数据的填补。l在数据准备过程中，利用粗糙集理论的数据约简特性，对数据集进行降维操作。对数据集进行降维操作。l在数据挖掘阶段，可将粗糙集理论用于分类规用于分类规则的发现。则的发现。数学基础数学基础粗糙集粗糙集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室38/137l在数据挖掘阶段的主要作用在数据挖掘阶段的主要作用通过布尔推理挖掘出约简的规则来解释决策通过布尔推理挖掘出约简的规则来解释决策通过熵理论将规则的复杂性和预测的误差分析溶入通过熵理论将规则的复杂性和预测的误差分析溶入到无条件的度量中到无条件的度量中
31、与模糊集理论、证据理论构成复合分析方法与模糊集理论、证据理论构成复合分析方法搜寻隐含在数据中的确定性或非确定性的规则搜寻隐含在数据中的确定性或非确定性的规则l在解释与评估过程中，粗糙集理论可用于在解释与评估过程中，粗糙集理论可用于对所对所得到的结果进行统计评估得到的结果进行统计评估。数学基础数学基础粗糙集粗糙集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室39/137粗糙集理论的研究现状粗糙集理论的研究现状l在理论研究方面在理论研究方面数学性质数学性质：研究其代数与拓扑结构、收敛性等：研究其代数与拓扑结构、收敛性等粗糙集拓广粗糙集拓广：广义粗糙集模型、
32、连续属性离散化：广义粗糙集模型、连续属性离散化与其它不确定性处理方法的关系和互补与其它不确定性处理方法的关系和互补：与模糊集：与模糊集理论、理论、Dempster-ShaferDempster-Shafer证据理论的关系和互补证据理论的关系和互补粒度计算粒度计算：粗糙集理论是其重要组成之一：粗糙集理论是其重要组成之一高效算法高效算法：导出规则的增量式算法、简约的启发式：导出规则的增量式算法、简约的启发式算法、并行算法、现有算法的改进算法、并行算法、现有算法的改进数学基础数学基础粗糙集粗糙集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室40/137l 在
33、数据挖掘领域的应用在数据挖掘领域的应用 发现数据之间（精确或近似）的依赖关系发现数据之间（精确或近似）的依赖关系 评价某一分类（属性）的重要性评价某一分类（属性）的重要性 剔除冗余属性剔除冗余属性 数据集的降维数据集的降维 发现数据模式发现数据模式 挖掘决策规则挖掘决策规则l 在其它领域的应用在其它领域的应用 金融商业金融商业 数学基础数学基础粗糙集粗糙集2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室41/137 起源于起源于17世纪对赌博中随机现象的研究。世纪对赌博中随机现象的研究。伯努利（伯努利（Jacob Bernouli）大数定理：证明了概率的
34、稳定性。）大数定理：证明了概率的稳定性。拉普拉斯（拉普拉斯（P.S.Laplace）、林德伯格（）、林德伯格（J.W.Lindeberg）中心极）中心极限定理。限定理。切比雪夫（切比雪夫（P.L.Chebyshev）、马尔可夫（）、马尔可夫（A.A.Markov）、辛钦）、辛钦（Khinchine）正态分布。）正态分布。科尔莫戈罗夫（科尔莫戈罗夫（A.N.Kolmogorov）概率论公里化体系）概率论公里化体系 皮尔逊（皮尔逊（K.Pearson）提出标准差、正态曲线、平均方差、均方）提出标准差、正态曲线、平均方差、均方根误差等数理统计术语。根误差等数理统计术语。费希尔（费希尔（R.A.Fis
35、her）模型的参数估计和实验设计方法）模型的参数估计和实验设计方法 维纳（维纳（N.Wiener）布朗运动的数学模型，随机过程的开创者。）布朗运动的数学模型，随机过程的开创者。概率理论：概率论、数理统计、随机过程概率理论：概率论、数理统计、随机过程数学基础数学基础概率理论概率理论2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室42/137l贝叶斯网络是用来表示变量间连接概率的图形模贝叶斯网络是用来表示变量间连接概率的图形模式，它提供了一种自然的表示因果信息的方法，式，它提供了一种自然的表示因果信息的方法，用来发现数据间的潜在关系。在这个网络中，用用来发现
36、数据间的潜在关系。在这个网络中，用节点表示变量，有向边表示变量间的依赖关系。节点表示变量，有向边表示变量间的依赖关系。l贝叶斯方法正在以其独特的不确定性知识表达形贝叶斯方法正在以其独特的不确定性知识表达形式、丰富的概率表达能力、综合先验知识的增量式、丰富的概率表达能力、综合先验知识的增量学习特性等成为处理不确定问题的众多方法中最学习特性等成为处理不确定问题的众多方法中最为引人注目的焦点之一。为引人注目的焦点之一。2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室43/137l贝叶斯（贝叶斯（Reverend Thomas Bayes 1702-1761）学
37、学派奠基性的工作是贝叶斯的论文派奠基性的工作是贝叶斯的论文“关于几率性问题关于几率性问题求解的评论求解的评论”。l著名的数学家拉普拉斯（著名的数学家拉普拉斯（Laplace P.S.）用贝叶用贝叶斯的方法导出了重要的斯的方法导出了重要的“相继律相继律”，贝叶斯的方法，贝叶斯的方法和理论逐渐被人理解和重视起来。和理论逐渐被人理解和重视起来。2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室44/137l 二十世纪初，意大利的菲纳特（二十世纪初，意大利的菲纳特（B.de Finetti）以及以及英国的杰弗莱（英国的杰弗莱（Jeffreys H.）都对贝叶斯学派
38、的理论作都对贝叶斯学派的理论作出重要的贡献。第二次世界大战后，瓦尔德（出重要的贡献。第二次世界大战后，瓦尔德（Wald A.）提出了统计的决策理论，在这一理论中，贝叶斯解占有提出了统计的决策理论，在这一理论中，贝叶斯解占有重要的地位；信息论的发展也对贝叶斯学派做出了新的重要的地位；信息论的发展也对贝叶斯学派做出了新的贡献。贡献。1958年英国最悠久的统计杂志年英国最悠久的统计杂志Biometrika全文重全文重新刊登了贝叶斯的论文，新刊登了贝叶斯的论文，20世纪世纪50年代，以罗宾斯年代，以罗宾斯（Robbins H.）为代表，提出了经验贝叶斯方法和经典为代表，提出了经验贝叶斯方法和经典方法相
39、结合，引起统计界的广泛注意，这一方法很快就方法相结合，引起统计界的广泛注意，这一方法很快就显示出它的优点，成为很活跃的一个方向。显示出它的优点，成为很活跃的一个方向。2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室45/137l 随着人工智能的发展，尤其是机器学习、数据挖掘随着人工智能的发展，尤其是机器学习、数据挖掘等兴起，为贝叶斯理论的发展和应用提供了更为广阔的等兴起，为贝叶斯理论的发展和应用提供了更为广阔的空间。贝叶斯理论的内涵也比以前有了很大的变化。空间。贝叶斯理论的内涵也比以前有了很大的变化。80年代贝叶斯网络用于专家系统的知识表示，年代贝叶斯网
40、络用于专家系统的知识表示，90年代进一年代进一步研究可学习的贝叶斯网络，用于数据采掘和机器学习。步研究可学习的贝叶斯网络，用于数据采掘和机器学习。近年来，贝叶斯学习理论方面的文章更是层出不穷，内近年来，贝叶斯学习理论方面的文章更是层出不穷，内容涵盖了人工智能的大部分领域，包括因果推理、不确容涵盖了人工智能的大部分领域，包括因果推理、不确定性知识表达、模式识别和聚类分析等。定性知识表达、模式识别和聚类分析等。2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室46/137Judea.Pearl（1936 ）加州大学洛杉矶分校计算机科学加州大学洛杉矶分校计算机科
41、学学院教授、认知系统实验室主任学院教授、认知系统实验室主任 美国国家工程院院士美国国家工程院院士 2011年图灵奖获得者年图灵奖获得者 主要贡献：主要贡献：（1）提出贝叶斯网络）提出贝叶斯网络 （2）建立因果关系模型）建立因果关系模型为为iPhone的的Siri语音识别和语音识别和Google的无人驾驶汽车奠定了基础。的无人驾驶汽车奠定了基础。贝叶斯网络奠基人之一贝叶斯网络奠基人之一causality：Models，Reasoning,and Inference2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室47/137 统计概率统计概率：若在大量重复试
42、验中，事件：若在大量重复试验中，事件A发生的频率发生的频率稳定地接近于一个固定的常数稳定地接近于一个固定的常数p，它表明事件它表明事件A出现的出现的可能性大小，则称此常数可能性大小，则称此常数p为事件为事件A发生的概率，记为发生的概率，记为P(A),即即 pP(A)可见概率就是频率的稳定中心。任何事件可见概率就是频率的稳定中心。任何事件A的概率的概率为不大于为不大于1的非负实数，即的非负实数，即 0P(A)1 2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室48/137 条件概率条件概率：我们把事件：我们把事件B已经出现的条件下，事件已经出现的条件下，事
43、件A发生的概率记做为发生的概率记做为P(A|B)。并称之为在并称之为在B出现的条件出现的条件下下A出现的条件概率，而称出现的条件概率，而称P(A)为无条件概率。为无条件概率。若事件若事件A与与B中的任一个出现，并不影响另一事件中的任一个出现，并不影响另一事件出现的概率，即当出现的概率，即当P(A)P(A|B)或或P(B)P(B|A)时，时，则称则称A与与B是相互独立的事件。是相互独立的事件。2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室49/137 两个不相容两个不相容(互斥互斥)事件之和的概率事件之和的概率,等于两个事件等于两个事件概率之和概率之和,
44、即即 P(A+B)P(A)P(B)若若A、B为两任意事件，则：为两任意事件，则：P(A+B)P(A)P(B)P(AB)2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室50/137 设设A、B为两个任意的非零事件，则其乘积的概率为两个任意的非零事件，则其乘积的概率等于等于A(或或B)的概率与在的概率与在A(或或B)出现的条件下出现的条件下B(或或A)出出现的条件概率的乘积。现的条件概率的乘积。P(AB)P(A)P(B|A)或或 P(AB)P(B)P(A|B)联合概率2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室51
45、/137 先验概率：先验概率：是指根据历史的资料或主观判断所确是指根据历史的资料或主观判断所确定的各事件发生的概率，该类概率没能经过实验证定的各事件发生的概率，该类概率没能经过实验证实，属于检验前的概率，所以称之为先验概率。实，属于检验前的概率，所以称之为先验概率。先验概率一般分为两类，一是客观先验概率，是先验概率一般分为两类，一是客观先验概率，是指利用过去的历史资料计算得到的概率；二是主观指利用过去的历史资料计算得到的概率；二是主观先验概率，是指在无历史资料或历史资料不全的时先验概率，是指在无历史资料或历史资料不全的时候，只能凭借人们的主观经验来判断取得的概率。候，只能凭借人们的主观经验来判
46、断取得的概率。2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室52/137后验概率：后验概率：一般是指利用贝叶斯公式，结合调查等一般是指利用贝叶斯公式，结合调查等方式获取了新的附加信息，对先验概率进行修正后方式获取了新的附加信息，对先验概率进行修正后得到的更符合实际的概率。得到的更符合实际的概率。2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室53/137 设设A1,A2,An是两两互斥的事件，且是两两互斥的事件，且P(Ai)0，i=1,2,n,A1+A2+,+An=niiiABPAPBP1)()()(A1A2A3
47、AnB另有一事件另有一事件B=BA1+BA2+,+BAn全概率称满足上述条件的称满足上述条件的A1,A2,An为为完备事件组（条件独立）完备事件组（条件独立）.2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室54/137例例:某汽车公司下属有两个汽车制造厂某汽车公司下属有两个汽车制造厂,全部产品的全部产品的40%由甲厂由甲厂生产生产,60%由乙厂生产。而甲乙二厂生产的汽车的不合格率分别由乙厂生产。而甲乙二厂生产的汽车的不合格率分别为为1%，2%.求从公司生产的汽车中随机抽取一辆为不合品的概求从公司生产的汽车中随机抽取一辆为不合品的概率。率。解：设解：设A
48、1,A2分别表示分别表示甲厂汽车甲厂汽车 乙厂汽车乙厂汽车,B表示表示不合格品不合格品 P(A1)=0.4,P(A2)=0.6 P(B/A1)=0.01,P(B/A2)=0.02 A1A2=P(B)=P(A1B+A2B)=P(A1B)+P(A2B)=P(A1)P(B/A1)+P(A2)P(B/A2)=0.40.01+0.60.02 =0.016甲甲乙乙BA1A22023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室55/137 由此可以形象地把由此可以形象地把全概率公式看成为全概率公式看成为“由原因推结果由原因推结果”，每个原因对结果的发每个原因对结果的发生有
49、一定的生有一定的“作用作用”，即结果发生的可能，即结果发生的可能性与各种原因的性与各种原因的“作作用用”大小有关大小有关.全概率全概率公式表达了它们之间公式表达了它们之间的关系的关系.诸诸Ai是原因，是原因，B是结果是结果A1A2A3A4A5A6A7A8B2023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室56/137njjjiiiABPAPABPAPBAP1)()()()()|(该公式于该公式于1763年由贝叶斯年由贝叶斯(Bayes)给出给出.它是在它是在观察到事件观察到事件B已发生的条件下，寻找导致已发生的条件下，寻找导致B发生的每发生的每个原因的概率
50、个原因的概率.贝叶斯公式贝叶斯公式 设设A1,A2,An是样本空间中的完备事件组且是样本空间中的完备事件组且P(Ai)0，i=1,2,n,另有一事件另有一事件B，则有则有 ni,212023-1-2合肥工业大学人工智能与数据挖掘研究室合肥工业大学人工智能与数据挖掘研究室57/137l基于条件概率的定义基于条件概率的定义lp(Ai|E)是在给定证据下的后验概率是在给定证据下的后验概率lp(Ai)是先验概率是先验概率lP(E|Ai)是在给定是在给定Ai下的证据似然下的证据似然lp(E)是证据的预定义后验概率是证据的预定义后验概率iiiiiiii)p(AA|p(E)p(AA|p(Ep(E)p(AA|
