1、1机器学习2 为什么学习 学习的一般形式 学习的定义 设计一个学习系统 学习的一般形式 机器学习研究的问题OUTLINE3为什么学习 为什么要研究机器学习？现在的人工智能系统还完全没有或仅有很有限的学习能力。系统中的知识由人工编程送入系统，知识中的错误也不能自动改正。也就是说，现有的大多数人工智能不能自动获取和生成知识，系统性能难以改善。学习目的：让计算机随着经验的积累自动提高性能4为什么学习 学习的例子：计算机能从医疗记录中学习，获取诊断疾病的方法个人软件助理跟踪用户的兴趣，并为其选择最感兴趣的在线早间新闻数字识别、汉字识别、语音识别5 为什么学习 学习的一般形式 学习的定义 设计一个学习系
2、统 学习的一般形式 机器学习研究的问题OUTLINE6学习的一般形式 在学习智能体中，对执行元件进行反馈并加以修正的元件是学习元件执行器环 境传感器智 能体性能标准评论元件学习元件问 题产生器执行元件反馈学 习 的目标知识变化7学习元件的设计 影响学习元件设计的主要因素：执行元件的哪个组成部分进行学习谁要学习(who)组成部分从学习中得到什么反馈怎么学习(how)组成部分是如何表示的学习什么(what)决定智能体学习本质的最重要因素是学习中的反馈类型8学习的三种类型 有监督(有指导)学习从其输入/输出的实例中学习一个函数 无监督(无指导)学习在未提供明确的输出值情况下，学习输入的模式主要在概率
3、推理系统的上下文中研究无监督学习 强化学习从强化物中学习，而不是根据指导进行学习9学习过程中的知识表示 如何表示学到的信息(各种方案智能体的任何组成部分)逻辑公式(学到的规则)贝叶斯网络(学到的概率描述)线性加权函数(作为学习得到的启发函数)先验知识的可用性大部分人类学习发生在具有大量背景知识的上下文环境中不同的背景知识会导致对同一事物的不同认识(如物理学家和画家对云室照片的看法)10 为什么学习 学习的一般形式 学习的定义 设计一个学习系统 学习的一般形式 机器学习研究的问题OUTLINE11学习的定义 学习定义：对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而
4、自我完善，那么我们称这个计算机程序从经验E中学习 对于一个学习问题，必须明确：任务的种类T衡量性能提高的标准P经验的来源E12学习问题示例 手写数字识别学习问题任务T：识别和分类图像中的手写数字性能标准P：分类的正确率训练经验E：已知分类的手写数字数据库 国际象棋学习问题任务T：下国际象棋性能标准P：比赛中击败对手的百分比训练经验E：和自己进行对弈13学习问题示例 机器人驾驶学习问题任务T：通过视觉传感器在四车道高速公路上驾驶性能标准P：平均无差错行驶里程训练经验E：注视人类驾驶时录制的一系列图像和驾驶指令14 为什么学习 学习的一般形式 学习的定义 设计一个学习系统 机器学习研究的问题OUT
5、LINE15设计一个学习系统 基本设计方法和学习途径（以西洋跳棋为例）选择训练经验选择目标函数选择目标函数的表示选择函数逼近算法(选择学习算法)最终设计16 第一个关键属性，训练经验能否为系统的决策提供直接或间接的反馈。E.g.西洋跳棋系统可从直接的训练样例，即各种棋盘状态和相应的正确走子中学习系统可能仅有间接的信息，即很多过去对弈序列和最终结局(较早走子的正确性由结局推断。面临信用分配问题：每一次走子对最终结果的贡献程度)注意：本例中系统提供的是间接训练经验 第二个重要属性，训练样例的分布能多好地表示实例分布，最终系统的性能是通过后者来衡量的。选择训练经验17 西洋跳棋学习问题任务T：下西洋
6、跳棋性能标准P：击败对手的百分比训练经验E：和自己进行训练对弈 学习系统需要选择要学习的知识的确切类型对于这个目标知识的表示一种学习机制选择目标函数(1)18 学习任务：如何从合法的走子中选择最佳走子。因此，要学习的信息类型是程序或函数 目标函数ChooseMoveChooseMove:BM，接受合法棋局集合中的棋盘状态作为输入，并从合法走子集合中选择某个走子作为输出 问题转化我们把提高任务T的性能P的问题转化（或简化）为学习像ChooseMove这样某个特定的目标函数选择目标函数(2)19 ChooseMove的评价学习问题很直观地转化成这个函数这个函数的学习很困难，因为提供给系统的是间接训
7、练经验选择目标函数(3)20 另一个目标函数V一个评估函数，V:BR，它为任何给定棋局赋予一个数值评分，给好的棋局赋予较高的评分优点，学习简单 V的应用根据V能够轻松地找到当前棋局的最佳走法。选择目标函数(4)21 V的设计，对于集合B中的任意棋局b，V(b)定义如下如果b是一最终的胜局，那么V(b)=100如果b是一最终的负局，那么V(b)=-100如果b是一最终的和局，那么V(b)=0如果b不是最终棋局，那么V(b)=V(b)，其中b是从b开始双方都采取最优对弈后可达到的终局选择目标函数(5)22 上面设计的缺陷递归定义、运算效率低不可操作 简评学习任务简化成发现一个理想目标函数V的可操作
8、描述。通常要完美地学习这样一个V的可操作的形式是非常困难的。一般地，我们仅希望学习算法得到近似的目标函数V，因此学习目标函数的过程常称为函数逼近（function approximation）。选择目标函数(6)23 选择一个表示，使学习程序来描述要学习的函数V 函数的表示一张大表，对于每个唯一的棋盘状态，表中有唯一的表项来确定它的状态值规则集合来匹配棋局特征以表示V用与预定义棋盘特征有关的二次多项式函数人工神经网络选择目标函数的表示24 重要的权衡过程一方面，我们总希望选取一个非常有表现力的描述，以最大可能地逼近理想的目标函数另一方面，越有表现力的描述需要越多的训练数据，使程序能从它表示的多
9、种假设中选择选择目标函数的表示(2)25 一个简单的表示法，对于任何给定的棋盘状态，函数V可以通过以下棋盘参数的线性组合来计算。x1，黑子的数量x2，红子的数量x3，黑王的数量x4，红王的数量x5，被红子威胁的黑子数量x6，被黑子威胁的红子数量选择目标函数的表示(3)26 目标函数V(b)=w0+w1x1+w2x2+w6x6其中，w1w6是权值，表示不同棋局特征的相对重要性,w0为一个附加的棋盘状态值常量 至此，问题转化为学习目标函数中的系数（即权值）概括一下目前为止的设计选择：概括一下目前为止的设计选择：阐述了学习问题的原型；选择一种类型的训练经验；一个要学习的目标函数及目标函数的一种表示选
10、择目标函数的表示(4)27 为学习目标函数V(函数逼近)，需要一系列训练样例 每个训练样例表示成二元对b是棋盘状态，Vtrain(b)是训练值比如：,100 训练过程从学习器可得到的间接训练经验中导出上面的训练样例调整系数wi，最佳拟合这些训练样例选择函数逼近方法表示红棋没有子了，黑棋胜表示红棋没有子了，黑棋胜28 训练样例对结束时的棋盘状态评分很容易（由于间接训练经验）估计中间棋盘状态的训练值：对于大量中间棋盘状态，一个简单的估计方法 Vtrain(b)=V(Successor(b)调整权值最佳拟合训练样例，使得误差（Vtrain(b)-V(b)）平方和最小寻找算法，比如最小均方法LMS 更
11、新权值选择函数逼近方法(2)b之后再轮到程序走棋时的棋盘状态之后再轮到程序走棋时的棋盘状态29LMS 权值更新法则:随机选择一个训练样例1.计算 error(b):error(b)=Vtrain(b)-V(b)2.对每一个棋盘状态特征xi,更新其权值wi:wi wi+error(b)xi 是一个小的常数（比如0.1），用来调整权值更新幅度。注意：如果xi=0，其权值不会因为这个误差而改变。LMS调整权值30西洋跳棋学习程序的设计过程决定训练经验类型决定目标函数决定学习到的函数的表示决定学习算法完成的设计梯度下降线性规划多项式六个参数的线性函数棋盘走子棋盘分值与专家对弈与自己对弈正确走子的表格31 学习的一般形式 学习的定义 设计一个学习系统 学习的一般形式 机器学习研究的问题OUTLINE32机器学习的问题 存在什么样的算法能从特定的训练数据学习一般的目标函数呢？如果提供了充足的训练数据，什么样的条件下，会使特定的算法收敛到期望的函数？哪个算法对哪些问题和表示的性能最好？多少训练数据是充足的？怎样找到学习到假设的置信度与训练数据的数量及提供给学习器的假设空间特性之间的一般关系？学习器拥有的先验知识是怎样引导从样例进行泛化的过程的？当先验知识仅仅是近似正确时，它们会有帮助吗？怎样把学习任务简化为一个或多个函数逼近问题？换一种方式，系统该试图学习哪些函数？这个过程本身能自动化吗？
