1、胡鹤机器学习教学内容：教学内容：机器学习是继专家系统之后人工智能应用的又一重要研究领域。本章主要介绍机器学习的有关知识及其主要的几种学习方法，并介绍了知识发现的相关内容。教学重点：教学重点：机器学习的基本结构、机器学习分类、知识发现与数据挖掘机器学习一个不具有学习能力的智能系统难以称得上是一个真正的智能系统，但是以往的智能系统都普遍缺少学习的能力。例如，它们遇到错误时不能自我校正；不会通过经验改善自身的性能；不会自动获取和发现所需要的知识。它们的推理仅限于演绎而缺少归纳，因此至多只能够证明已存在事实、定理，而不能发现新的定理、定律和规则等。随着人工智能的深入发展，这些局限性表现得愈加突出。正是
2、在这种情形下，机器学习逐渐成为人工智能研究的核心之一。它的应用已遍及人工智能的各个分支，如专家系统、自动推理、自然语言理解、模式识别、计算机视觉、智能机器人等领域。其中尤其典型的是专家系统中的知识获取瓶颈问题，人们一直在努力试图采用机器学习的方法加以克服。1 机器学习的定义和发展历史机器学习的定义机器学习的定义机器学习的基本概念机器学习的基本概念：按照人工智能大师西蒙的观点，学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。机器学习的定义机器学习的定义机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提
3、法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。机器学习的发展史机器学习的发展史机器学习是人工智能应用研究较为重要的分支，它的发展过程大体上可分为4个时期：1.第一阶段是在50年代中叶到60年代中叶，属于热烈时期。2.第二阶段在60年代中叶至70年代中叶，被称为机器学习的冷静时期。3.第三阶段从70年代中叶至80年代中叶，称为复兴时期。4.机器学习的最新阶段始于1986年。一方面，由于神经网络研究的重新兴起，另一方面，对实验研究和应用研究得到前所未有的重视。我国的机器学习研究开始进入稳步发展和逐渐繁荣的新时期。机器学习进入新阶段的表现机器学习机器学习已经成为新的边缘学科并
4、在高校形成课程综合各种学习方法综合各种学习方法机器学习与人工智能机器学习与人工智能的统一性观点正在形成各种学习方法的应用范围不断扩大数据挖掘和知识发现数据挖掘和知识发现的研究已经形成热潮与机器学习有关的学术活动空前活跃2机器学习的基本结构基本结构基本结构上图表示学习系统的基本结构。环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。在具体的应用中，环境，知识库和执行部分决定了具体的工作内容，学习部分所需要解决的问题完全由上述3部分确定。影响学习系统设计的重要因素影响学习系统设计的重要因素
5、 影响学习系统设计的最重要的因素是环境向系统提供的信息。或者更具体地说是信息的质量。知识库里存放的是指导执行部分动作的一般原则，但环境向学习系统提供的信息却是各种各样的。如果信息的质量比较高，则学习部分比较容易处理。如果向学习系统提供的是杂乱无章的指导执行具体动作的具体信息，则学习系统需要在获得足够数据之后，删除不必要的细节，进行总结推广，形成指导动作的一般原则，放入知识库，这样学习部分的任务就比较繁重，设计起来也较为困难。3机器学习分类基于学习策略的分类基于学习策略的分类 学习策略是指学习过程中系统所采用的推理策略。学习系统的主体总是由学习学习和环境环境两部分组成。由环境环境（如书本或教师）
6、提供信息，学习学习部分则实现信息转换，用能够理解的形式记忆下来，并从中获取有用的信息。在学习过程中，学生（学习部分）使用的推理越少，他对教师（环境）的依赖就越大，教师的负担也就越重。学习策略的分类标准就是根据学生实现信息转换所需的推理多少和难易程度来分类的，依从简单到复杂，从少到多的次序分为以下五种基本类型：）机械学习(Rote learning)学习者无需任何推理或其它的知识转换，直接吸取环境所提供的信息。如塞缪尔的跳棋程序，这类学习系统主要考虑的是如何索引存贮的知识并加以利用。系统的学习方法是直接通过事先编好、构造好的程序来学习，学习者不作任何工作，或者是通过直接接收既定的事实和数据进行学
7、习，对输入信息不作任何的推理。）示教学习(Learning from instruction)学生从环境（教师或其它信息源如教科书等）获取信息，把知识转换成内部可使用的表示形式，并将新的知识和原有知识有机地结合为一体。所以要求学生有一定程度的推理能力，但环境仍要做大量的工作。教师以某种形式提出和组织知识，以使学生拥有的知识可以不断地增加。这种学习方法和人类社会的学校教学方式相似，学习的任务就是建立一个系统，使它能接受教导和建议，并有效地存贮和应用学到的知识。目前，不少专家系统在建立知识库时使用这种方法去实现知识获取。3）演绎学习(Learning by deduction)学生所用的推理形式为
8、演译推理。推理从公理出发，经过逻辑变换推导出结论。这种推理是“保真”变换和特化(specialization)的过程，使学生在推理过程中可以获取有用的知识。演绎推理的逆过程是归纳推理。4）类比学习(Learning by analogy)利用二个不同领域（源域、目标域）中的知识相似性，可以通过类比，从源域的知识（包括相似的特征和其它性质）推导出目标域的相应知识，从而实现学习。类比学习系统可以使一个已有的计算机应用系统转变为适应于新的领域，来完成原先没有设计的相类似的功能。类比学习需要比上述三种学习方式更多的推理。它一般要求先从知识源（源域）中检索出可用的知识，再将其转换成新的形式，用到新的状况
9、（目标域）中去。类比学习在人类科学技术发展史上起着重要作用，许多科学发现就是通过类比得到的。例如著名的卢瑟福类比就是通过将原子结构（目标域）同太阳系（源域）作类比，揭示了原子结构的奥秘。）基于解释的学习(Explanation-based learning)学生根据教师提供的目标概念、该概念的一个例子、领域理论及可操作准则，首先构造一个解释来说明为什该例子满足目标概念，然后将解释推广为目标概念的一个满足可操作准则的充分条件。EBL已被广泛应用于知识库求精和改善系统的性能。）归纳学习(Learning from induction)归纳学习是由教师或环境提供某概念的一些实例或反例，让学生通过归纳
10、推理得出该概念的一般描述。这种学习的推理工作量远多于示教学习和演绎学习，因为环境并不提供一般性概念描述（如公理）。从某种程度上说，归纳学习的推理量也比类比学习大，因为没有一个类似的概念可以作为源概念加以取用。归纳学习是最基本的，发展也较为成熟的学习方法，在人工智能领域中已经得到广泛的研究和应用。五种机器学习依学习策略学习策略从简单到复杂的次序分为五种基本类型：1）机械学习(Rote learning)2）示教学习(Learning from instruction)3）演绎学习(Learning by deduction)4）类比学习(Learning by analogy)5）基于解释的学习
11、(Explanation-based learning)6）归纳学习(Learning from induction)知识发现智能信息处理的瓶颈知识获取机器学习能够通过对数据及其关系的分析，提取出隐含在海量数据中的知识知识发现的发展和定义 1.知识发现的产生和发展知识发现的产生和发展知识发现最早是于1989年8月在第11届国际人工智能联合会议的专题讨论会上提出。随着互联网的发展，网上已设立了不少研究KDD的网站、论坛和新闻报导。在研究的基础上，也出现一些KDD产品和应用系统，引起企业界的关注。2.定义：定义：数据库中的知识发现是从大量数据中辨识出有效的、新颖的、潜在有用的、并可被理解的模式的高
12、级处理过程。数据集：数据集：是指一个有关事实F的集合，它是用来描述事物有关方面的信息，是进一步发现知识的原材料。新颖：新颖：经过知识发现提取出的模式必须是新颖的。潜在有用：潜在有用：提取出的模式应该是有意义的，这可以通过某些函数的值来衡量。可被人理解：可被人理解：知识发现的一个目标就是将数据库中隐含的模式以容易被人理解的形式表现出来，从而帮助人们更好地了解数据库中所包含的信息。模式模式高级过程高级过程知识发现的处理过程数据选择：数据选择：根据用户的需求从数据库中提取与KDD相关的数据。数据预处理：数据预处理：主要是对上述数据进行再加工，检查数据的完整性及数据的一致性，对丢失的数据利用统计方法进
13、行填补，形成发掘数据库。数据变换：数据变换：即从发掘数据库里选择数据。数据挖掘：数据挖掘：根据用户要求，确定KDD的目标是发现何种类型的知识。知识评价：知识评价：这一过程主要用于对所获得的规则进行价值评定，以决定所得的规则是否存入基础知识库。可归纳为三个步骤，即数据挖掘预处理、数据挖掘、数据挖掘后处理。知识发现的方法统计方法统计方法统计方法是从事物的外在数量上的表现去推断该事物可能的规律性。机器学习方法机器学习方法(1)规则归纳。规则反映数据项中某些属性或数据集中某些数据项之间的统计相关性。(2)决策树。决策树的每一个非终叶节点表示所考虑的数据项的测试或决策。(3)范例推理。范例推理是直接使用过去的经验或解法来求解给定的问题。(4)贝叶斯信念网络。贝叶斯信念网络是概率分布的图表示。(5)科学发现。科学发现是在实验环境下发现科学定律。(6)遗传算法。在求解过程中，通过最好解的选择和彼此组合，使期望解的集合愈来愈好。神经计算方法神经计算方法可视化方法可视化方法可视化（visualization）就是把数据、信息和知识转化为可视的表示形式的过程。知识发现的应用知识发现已在许多领域得到应用，且应用领域越来越广。现在，知识发现已在银行业、保险业、零售业、医疗保健、工程和制造业、科学研究、卫星观察和娱乐业等行业和部门得到成功应用，为人们的科学决策提供很大帮助。
