1、第第5章章 智能学习系统智能学习系统 51 机器学习的基本概念机器学习的基本概念 511 机器学习机器学习 512 机器学习系统机器学习系统 52 智能学习系统的基本模型智能学习系统的基本模型 53 机器学习的几种常用方法机器学习的几种常用方法 531 机械式学习机械式学习 532 指导式学习指导式学习 533 示例学习示例学习 534 类比学习类比学习 535 解释学习解释学习 第5章 智能学习系统 1.什么是学习什么是学习 学习是一种综合性的心理活动，它与记忆、学习是一种综合性的心理活动，它与记忆、思维、知觉、感觉等多种心理活动密切联系；思维、知觉、感觉等多种心理活动密切联系；西蒙西蒙：“
2、学习学习“系统积累经验，改善性能的系统积累经验，改善性能的过程过程”；明斯基明斯基：“学习是我们头脑里有用知识的变学习是我们头脑里有用知识的变化化”；维纳：维纳：“学习是系统自我完善的过程学习是系统自我完善的过程”；巴甫洛夫巴甫洛夫“学习是条件反射的形成过程学习是条件反射的形成过程”。学习的基本概念学习的基本概念 学习学习是一个知识和能力的增长过程。是一个知识和能力的增长过程。其内在行为是知识获取（获得知识、其内在行为是知识获取（获得知识、积累经验、发现规律，新知识结构的积累经验、发现规律，新知识结构的建立和改进等）；其外部表现是能力建立和改进等）；其外部表现是能力的改善（改进性能、适应环境、
3、实现的改善（改进性能、适应环境、实现自我完善等），使其变得更快、更精自我完善等），使其变得更快、更精确、更健全；学习是技巧的获得，是确、更健全；学习是技巧的获得，是理论的形成，是假设的验证，是演绎理论的形成，是假设的验证，是演绎的推理。的推理。2.机器学习机器学习 机器学习机器学习是研究怎样让机器是研究怎样让机器(计算机或智能机计算机或智能机)获获取知识的问题，有以下二种定义取知识的问题，有以下二种定义:狭义机器学习。狭义机器学习。指人们通过系统设计、程序编制指人们通过系统设计、程序编制和人和人-机交互，使机器获取知识。因此，狭义机机交互，使机器获取知识。因此，狭义机器学习也可称为器学习也可称
4、为“人工知识获取人工知识获取”。广义机器学习。广义机器学习。除了上述人工知识获取之外，机除了上述人工知识获取之外，机器还可以自动或半自动地获取知识。如，在系统器还可以自动或半自动地获取知识。如，在系统调试和运行过程中，通过机器学习进行知识积累，调试和运行过程中，通过机器学习进行知识积累，或者，通过机器感知直接从外部环境获取知识，或者，通过机器感知直接从外部环境获取知识，对知识库进行增删、修改、扩充和更新。因此，对知识库进行增删、修改、扩充和更新。因此，广义机器学习包括人工知识获取、机器自动和半广义机器学习包括人工知识获取、机器自动和半自动知识获取。自动知识获取。3.机器学习的途径 一般情况下，
5、机器学习的途径可分为以下四类一般情况下，机器学习的途径可分为以下四类:人工移植人工移植 人工移植就是依靠人工智能系统的设计师、知识人工移植就是依靠人工智能系统的设计师、知识工程师、程序编制人员、专家或用户，通过系统设计、工程师、程序编制人员、专家或用户，通过系统设计、程序编制及人机交互或辅助工具，将人的知识移植到程序编制及人机交互或辅助工具，将人的知识移植到机器的知识库中，使机器获取知识。机器的知识库中，使机器获取知识。人工移植的方式有以下二种人工移植的方式有以下二种:静态移植。静态移植。在系统设计过程中，通过知识表达，在系统设计过程中，通过知识表达，程序编制，建立知识库，进行知识存储、编排和
6、管理，程序编制，建立知识库，进行知识存储、编排和管理，使系统获取所需的先验知识或静态知识。使系统获取所需的先验知识或静态知识。动态移植。动态移植。在系统运行过程中，通过常规的人机在系统运行过程中，通过常规的人机交互方法，如交互方法，如“键盘键盘-显示器显示器”的输入的输入/输出交互方式，输出交互方式，对机器的知识库进行人工的增删、修改、扩充和更新。对机器的知识库进行人工的增删、修改、扩充和更新。3.机器学习的途径 示教式学习。示教式学习。在机器学习过程中，由人在机器学习过程中，由人作为示教者或监督者，给出评价准则或判作为示教者或监督者，给出评价准则或判断标准，对系统的工作效果进行检验，选断标准
7、，对系统的工作效果进行检验，选择或控制训练集，对学习过程进行指导和择或控制训练集，对学习过程进行指导和监督。监督。自学式学习。自学式学习。在机器学习过程中，不需在机器学习过程中，不需要人作为示教者或监督者，而由系统本身要人作为示教者或监督者，而由系统本身的监督器实现监督功能，对学习过程进行的监督器实现监督功能，对学习过程进行监督，提供评价准则和判断标准，通过反监督，提供评价准则和判断标准，通过反馈进行工作效果检验，控制选例和训练。馈进行工作效果检验，控制选例和训练。机器感知。机器感知。通过机器视觉、机器听觉、通过机器视觉、机器听觉、触觉等途径，直接感知外部世界，输入自触觉等途径，直接感知外部世
8、界，输入自然信息，获取感性和理性知识。然信息，获取感性和理性知识。5.1.2 机器学习系统1.1.机器学习系统的概念机器学习系统的概念 机器学习系统机器学习系统是指能够在一定程度是指能够在一定程度上实现机器学习的系统，是指能够上实现机器学习的系统，是指能够根据某种过程或环境中的未知特征根据某种过程或环境中的未知特征获取信息，改进系统性能，不断使获取信息，改进系统性能，不断使知识库完善，可将获取的信息用于知识库完善，可将获取的信息用于未来的估计、分类、决策或控制，未来的估计、分类、决策或控制，对环境的响应是令人满意的系统。对环境的响应是令人满意的系统。2.机器学习系统的特征机器学习系统的特征 目
9、的性：目的性：一个系统必须知道要学习什么。一个系统必须知道要学习什么。结构性：结构性：系统必须具备适当的结构来记忆系统必须具备适当的结构来记忆已经学到的知识，即能够对知识表示和知已经学到的知识，即能够对知识表示和知识组织形式进行修改和完善。识组织形式进行修改和完善。有效性有效性：系统学到的新知识必须有益于改：系统学到的新知识必须有益于改善系统的行为。善系统的行为。开放性：开放性：系统的能力应该能够在其实际使系统的能力应该能够在其实际使用过程或同环境的交互过程中不断进化。用过程或同环境的交互过程中不断进化。3.机器学习系统的基本要求机器学习系统的基本要求 具有适当的学习环境。具有适当的学习环境。
10、具有一定的学习能力。具有一定的学习能力。能够运用所学知识求解问题。能够运用所学知识求解问题。能通过学习提高自身性能。如果不能能通过学习提高自身性能。如果不能够通过学习增长知识、提高技能、改够通过学习增长知识、提高技能、改进性能，就谈不上是一个真正的学习进性能，就谈不上是一个真正的学习系统。系统。4.机器学习系统的类型 按学习能力分类：按学习能力分类：示教式学习系统、自学示教式学习系统、自学式学习系统。式学习系统。按学习方法分类：按学习方法分类：强记学习系统、指导式强记学习系统、指导式学习系统、示例学习系统、类比学习系统。学习系统、示例学习系统、类比学习系统。按照学习的推理策略分类：按照学习的推
11、理策略分类：机械式学习系机械式学习系统、传授学习系统、演绎学习系统、归纳统、传授学习系统、演绎学习系统、归纳学习系统、解释学习系统。学习系统、解释学习系统。按学习内容分类：按学习内容分类：概念学习系统、过程学概念学习系统、过程学习系统。习系统。4.机器学习系统的类型机器学习系统的类型 按知识表达方式分类：按知识表达方式分类：数值学习系统、数值学习系统、符号学习系统（产生式规则、与符号学习系统（产生式规则、与/或图等，或图等，又可分为又可分为:产生式学习系统、网络式学习产生式学习系统、网络式学习系统，语义网络学习系统、逻辑学习系系统，语义网络学习系统、逻辑学习系统）统）按照应用领域分类：按照应用
12、领域分类：专家系统学习、机专家系统学习、机器人学习、自然语言理解学习；器人学习、自然语言理解学习；按照对人类学习的模拟方式分类：按照对人类学习的模拟方式分类：从功从功能上模拟的符号学习、从结构上模拟的能上模拟的符号学习、从结构上模拟的连接学习等系统。连接学习等系统。5.学习系统的性能评价学习系统的性能评价 分类精度：分类精度：是否能够对输入的数据进行正确、是否能够对输入的数据进行正确、精确的分类。此类系统性能由待分类模式的规模精确的分类。此类系统性能由待分类模式的规模(大规模大规模(成千上万种成千上万种)、中规模、中规模(几千种几千种)、小规模、小规模(几十、几百种几十、几百种)；待分类样本的
13、性质、质量；系；待分类样本的性质、质量；系统学习方法等多种因素决定。如，分类结果是精统学习方法等多种因素决定。如，分类结果是精确的还是模糊的、多义性的；给出分类结果的同确的还是模糊的、多义性的；给出分类结果的同时是否还可以给出分类结果的可信度和分类精确时是否还可以给出分类结果的可信度和分类精确度等。度等。解答的正确性和质量：解答的正确性和质量：好的质量包括：可读性、好的质量包括：可读性、稳定性等多方面的因素。稳定性等多方面的因素。学习的速度：学习的速度：一个很费时的学习方法，某种意一个很费时的学习方法，某种意义上也是很难实现的。义上也是很难实现的。52 智能学习系统的基本模型智能学习系统的基本
14、模型 学习系统的基本模型学习系统的基本模型 环境和知识库环境和知识库是以某种知识表示形式表达的信息的是以某种知识表示形式表达的信息的集合，分别代表外界信息来源和系统具有的知识。集合，分别代表外界信息来源和系统具有的知识。学习环节和执行环节代表两个过程。学习环节和执行环节代表两个过程。学习环节学习环节处理处理环境提供的信息，以便改善知识库中的显式知识。环境提供的信息，以便改善知识库中的显式知识。执行环节执行环节利用知识库中的知识来完成某种任务，并利用知识库中的知识来完成某种任务，并把执行中获得的信息回送给学习环节。把执行中获得的信息回送给学习环节。环境环境学习环节学习环节知识库知识库执行环节执行
15、环节1环境环境 系统中的环境包括工作对象和外界条件。比如在医疗系统中，系统中的环境包括工作对象和外界条件。比如在医疗系统中，环境就是病人当前的症状、物化检验的报告和病历等信息；环境就是病人当前的症状、物化检验的报告和病历等信息；在模式识别中，环境就是待识别的图形或景物；在控制系统在模式识别中，环境就是待识别的图形或景物；在控制系统中，环境就是受控的设备或生产流程。中，环境就是受控的设备或生产流程。环境提供给系统的信息水平和质量对于学习系统有很大的影环境提供给系统的信息水平和质量对于学习系统有很大的影响。信息的水平是指信息的一般性程度，也就是适用范围的响。信息的水平是指信息的一般性程度，也就是适
16、用范围的广泛性。高水平的信息往往比较抽象，适用面更广泛，而低广泛性。高水平的信息往往比较抽象，适用面更广泛，而低水平的信息往往比较具体，只适用于个别问题。如果环境提水平的信息往往比较具体，只适用于个别问题。如果环境提供较抽象的高水平信息，学习环节就要补充遗漏的细节，以供较抽象的高水平信息，学习环节就要补充遗漏的细节，以便执行环节能用于具体情况。如果环境提供较具体的低水平便执行环节能用于具体情况。如果环境提供较具体的低水平信息，即在特殊情况执行任务的实例，学习环境就要由此归信息，即在特殊情况执行任务的实例，学习环境就要由此归纳出规则，以便用于完成更广的任务。信息质量对学习难度纳出规则，以便用于完
17、成更广的任务。信息质量对学习难度有明显的影响。例如，若施教者向系统提供准确的示教例子，有明显的影响。例如，若施教者向系统提供准确的示教例子，而且提供例子的次序也有利于学习，则容易进行归纳。若示而且提供例子的次序也有利于学习，则容易进行归纳。若示教例子中有干扰，或示例的次序不合理，则难以归纳。教例子中有干扰，或示例的次序不合理，则难以归纳。2学习环节学习环节 学习环节是系统的学习机构，是学习系统学习环节是系统的学习机构，是学习系统的核心，主要任务是采集环境信息、接受的核心，主要任务是采集环境信息、接受监督指导、进行学习推理、修改知识库。监督指导、进行学习推理、修改知识库。学习环节是将外界信息加工
18、为知识的过程，学习环节是将外界信息加工为知识的过程，在从环境获取外部信息后，再对这些信息在从环境获取外部信息后，再对这些信息进行分析、综合、类比、归纳、推理等思进行分析、综合、类比、归纳、推理等思维过程加工形成知识，并把这些知识放入维过程加工形成知识，并把这些知识放入知识库中。知识库中。3知识库知识库 知识库是用于存储、记忆、积累、增删、修改、知识库是用于存储、记忆、积累、增删、修改、扩充、更新知识的系统，是以某种形式表示的知扩充、更新知识的系统，是以某种形式表示的知识集合，用来存放学习环节所得到的知识；根据识集合，用来存放学习环节所得到的知识；根据所存储知识记忆的稳定度，可分为长期记忆、中所
19、存储知识记忆的稳定度，可分为长期记忆、中期记忆和短期记忆的知识库系统。期记忆和短期记忆的知识库系统。对知识库中的内容，其初始知识，是非常重要的。对知识库中的内容，其初始知识，是非常重要的。学习系统不可能在没有任何知识的情况下凭空获学习系统不可能在没有任何知识的情况下凭空获取知识，它总是先利用初始知识去理解环境提供取知识，它总是先利用初始知识去理解环境提供的信息，并依此形成和改进假设。学习系统的学的信息，并依此形成和改进假设。学习系统的学习过程实质上就是对原有知识库的扩充和完善过习过程实质上就是对原有知识库的扩充和完善过程。程。4执行环节执行环节 执行环节利用知识库的知识，进行识别、论证、决执行
20、环节利用知识库的知识，进行识别、论证、决策、判定，采取相应的行动完成某种任务的过程，策、判定，采取相应的行动完成某种任务的过程，并把完成任务过程中所获得的一些信息反馈给学习并把完成任务过程中所获得的一些信息反馈给学习环节，以指导进一步的学习。它是整个学习系统的环节，以指导进一步的学习。它是整个学习系统的核心，它与学习环节之间是相互联系的。核心，它与学习环节之间是相互联系的。执行环节实际上是由工作环节和评价环节两部分组执行环节实际上是由工作环节和评价环节两部分组成，工作环节用于处理系统面临的现实问题，比如成，工作环节用于处理系统面临的现实问题，比如定理证明、智能控制、自然语言处理、机器人行动定理
21、证明、智能控制、自然语言处理、机器人行动规划等；评价环节用来验证、评价工作环节执行的规划等；评价环节用来验证、评价工作环节执行的效果，比如结果的正确性等。效果，比如结果的正确性等。5反馈信息反馈信息 所有的学习系统都必须有从所有的学习系统都必须有从“执行环执行环节节”到到”学习环节学习环节”的反馈信息，这的反馈信息，这种反馈信息是根据执行环节的执行情种反馈信息是根据执行环节的执行情况，对学习环节所获知识的评价。学况，对学习环节所获知识的评价。学习环节主要根据这些反馈信息，来决习环节主要根据这些反馈信息，来决定是否还需要从环境中进一步索取信定是否还需要从环境中进一步索取信息，以修改、完善知识库中
22、的知识。息，以修改、完善知识库中的知识。53 机器学习的几种常用方法机器学习的几种常用方法5 53 31 1 机械式学习机械式学习 机械式学习又被称为记忆学习或死记硬背式学习，机械式学习又被称为记忆学习或死记硬背式学习，是一种最基本最简单的学习方法。它没有足够的是一种最基本最简单的学习方法。它没有足够的能力独立完成智能学习，但对任何系统来说都是能力独立完成智能学习，但对任何系统来说都是十分重要的，不需要进行任何计算和推理。在把十分重要的，不需要进行任何计算和推理。在把环境提供的知识存储起来以后，它所需做的唯一环境提供的知识存储起来以后，它所需做的唯一工作就是检索。工作就是检索。在机械学习系统中
23、，知识已经以某种方式获取，在机械学习系统中，知识已经以某种方式获取，并且是一种直接可使用的形式，不需系统进一步并且是一种直接可使用的形式，不需系统进一步加工。其他更高级的学习系统首先从实例或者从加工。其他更高级的学习系统首先从实例或者从指导获取知识，然后再记忆。因而所有学习系统指导获取知识，然后再记忆。因而所有学习系统都是建立在机械学习的基础之上，即对知识库中都是建立在机械学习的基础之上，即对知识库中的知识进行存储、维护和检索。的知识进行存储、维护和检索。5 53 31 1 机械式学习机械式学习 简单的机械式学习模型简单的机械式学习模型 过程过程:执行元素每解决一个问题，系统就记住这个问题和执
24、行元素每解决一个问题，系统就记住这个问题和它的解，以后一旦再遇到此类问题，系统就不必重新进行它的解，以后一旦再遇到此类问题，系统就不必重新进行计算，而可以直接找出原来的解去使用。可以把执行元素计算，而可以直接找出原来的解去使用。可以把执行元素抽象地比作一个函数抽象地比作一个函数f，该函数在得到环境的输入模式（，该函数在得到环境的输入模式（x1，x2，xn）后，计算并输出模式（）后，计算并输出模式（y1，y2，yk），则），则机械学习系统就是要简单地把这一输入输出模式对机械学习系统就是要简单地把这一输入输出模式对:（x1，x2，xn），（），（y1，y2，yk）存放在知识库中，当以存放在知识库中
25、，当以后再需要计算后再需要计算f（x1，x2，xn）时，系统执行元素就可）时，系统执行元素就可以直接从存储器中把（以直接从存储器中把（y1，y2，yk）检索出来，而不需）检索出来，而不需要再重新进行计算。要再重新进行计算。(x1,x2,xn)输入输出模式对输入输出模式对(y1,y2,yk)(x1,x2,xn),),(y1,y2,yk)f存储存储输入模式输入模式执行函数执行函数输出模式输出模式机械学习系统主要考虑的问题 机械学习（记忆学习的设计要考虑三个问题：存储结构、机械学习（记忆学习的设计要考虑三个问题：存储结构、稳定性和记忆与计算的权衡。稳定性和记忆与计算的权衡。1.1.存储结构存储结构只
26、有读取所用时间少于重新计算所用时间时，机械学习只有读取所用时间少于重新计算所用时间时，机械学习（记忆学习才有实用价值。为了快速读取存储的内容，就要合（记忆学习才有实用价值。为了快速读取存储的内容，就要合理组织存储结构。在数据结构和数据库等领域已经详尽研究了理组织存储结构。在数据结构和数据库等领域已经详尽研究了排序、检索和杂凑方法等有关问题。排序、检索和杂凑方法等有关问题。2.2.环境稳定性环境稳定性使用机械学习（记忆学习）时，总是认为保存的信息以后使用机械学习（记忆学习）时，总是认为保存的信息以后仍然有效。如果环境变化快，保存的信息就会失效而不能再使仍然有效。如果环境变化快，保存的信息就会失效
27、而不能再使用。例如记忆的用。例如记忆的5050年代汽车修理费用不能用来估计年代汽车修理费用不能用来估计8080年代汽车年代汽车修理费用。解决方法是随时监视环境的变化，不断更新保存的修理费用。解决方法是随时监视环境的变化，不断更新保存的信息。信息。3.3.记忆与计算的权衡记忆与计算的权衡为了确定是利用存储的信息还是重新计算，要比为了确定是利用存储的信息还是重新计算，要比较二者的代价。例如在数学用表中有三角函数表，可较二者的代价。例如在数学用表中有三角函数表，可直接查表不必计算。因为计算比查表复杂。但在数学直接查表不必计算。因为计算比查表复杂。但在数学用表中不列出两数乘积表，因计算并不复杂。可用两
28、用表中不列出两数乘积表，因计算并不复杂。可用两种方法选择是记忆还是计算。一种是代价效益分析法。种方法选择是记忆还是计算。一种是代价效益分析法。它在首次得到一个信息时，确定是否有必要保存它。它在首次得到一个信息时，确定是否有必要保存它。这时要考虑该信息以后使用的概率、存储空间和计算这时要考虑该信息以后使用的概率、存储空间和计算代价。另一种是有选择的放弃。保存的内容在读取时代价。另一种是有选择的放弃。保存的内容在读取时加上时间标志，这就是最后使用的时间。保存一项新加上时间标志，这就是最后使用的时间。保存一项新内容时，要删除一项旧内容，这是未使用的时间最长内容时，要删除一项旧内容，这是未使用的时间最
29、长的旧内容。的旧内容。机械学习系统主要考虑的问题532 指导式学习指导式学习 1.概念概念 指导式学习又称嘱咐式学习或教授式学习，类似于学生向指导式学习又称嘱咐式学习或教授式学习，类似于学生向教师学习知识的过程。其核心问题是如何把由外部环境向教师学习知识的过程。其核心问题是如何把由外部环境向系统提供的、不能被直接执行的知识或建议转化为可执行系统提供的、不能被直接执行的知识或建议转化为可执行的知识，并把新的知识与知识库中已有的知识有机地联系的知识，并把新的知识与知识库中已有的知识有机地联系起来。在学习过程中，系统需要对形成的知识反复进行评起来。在学习过程中，系统需要对形成的知识反复进行评价，使其
30、不断完善。价，使其不断完善。指导式学习系统的研究有两种主要目标。一种目标旨在指导式学习系统的研究有两种主要目标。一种目标旨在开发接受抽象、高层次指导，并把这种指导转换为知识库开发接受抽象、高层次指导，并把这种指导转换为知识库中的知识来指导性能元的行为系统。这种系统试图对知识中的知识来指导性能元的行为系统。这种系统试图对知识获取的全过程进行自动化实现。另一目标旨在开发高级的获取的全过程进行自动化实现。另一目标旨在开发高级的知识获取辅助工具，如知识库编辑器和知识调试器，这类知识获取辅助工具，如知识库编辑器和知识调试器，这类工具旨在使专家易于把抽象层知识转换为详细的知识库级工具旨在使专家易于把抽象层
31、知识转换为详细的知识库级知识，如规则等。知识，如规则等。2.专家的指导转换为系统性能的过程 请请求求解解释释操操作作归归并并评评价价知识库知识库推理机推理机输出输出输入输入专家专家教教导导获获取取部部分分用户用户图图5-4 5-4 指导式学习的系统模型指导式学习的系统模型 请求请求(request)：请求并接受专家的指导；：请求并接受专家的指导；解释解释(interpret)：转换为形式化的内部表示；：转换为形式化的内部表示；操作化操作化(operationalize)：转换为可使用的形式；：转换为可使用的形式；归并归并(integrate)：并入知识库；：并入知识库；评价评价(evaluat
32、e)：对性能元的相应操作进行评价；：对性能元的相应操作进行评价；请求请求 系统学习的第一步骤是向指导者请求系统学习的第一步骤是向指导者请求建议或教导。这种请求可以是简单的建议或教导。这种请求可以是简单的提问，如让指导者给出一般性的建议；提问，如让指导者给出一般性的建议；也可以是复杂的，如让系统识别出知也可以是复杂的，如让系统识别出知识库中的不足请求专家予以更正；请识库中的不足请求专家予以更正；请求可以是主动的，如系统主动提出询求可以是主动的，如系统主动提出询问，把指导者的注意力集中在特定问问，把指导者的注意力集中在特定问题上；也可以是被动的，如系统仅是题上；也可以是被动的，如系统仅是被动地等待
33、指导者提供建议。被动地等待指导者提供建议。解释解释 解释是接受专家的建议并将其转化成机器的内部表示解释是接受专家的建议并将其转化成机器的内部表示形式的过程。为此要求系统必须先提供一种表示语言，形式的过程。为此要求系统必须先提供一种表示语言，这种表示语言能够让专家表达出他的教导而不致于失这种表示语言能够让专家表达出他的教导而不致于失去必要的信息。这种表示语言可由知识工程师和专家去必要的信息。这种表示语言可由知识工程师和专家事先进行合作，研究出一种以交互的菜单驱动方式让事先进行合作，研究出一种以交互的菜单驱动方式让专家进行屏幕选择，这样对每一选择都有确定的含义专家进行屏幕选择，这样对每一选择都有确
34、定的含义理解，但这样的表示语言的表达能力较为有限。这种理解，但这样的表示语言的表达能力较为有限。这种表示语言也可以是专家自己习惯的自然语言或近似自表示语言也可以是专家自己习惯的自然语言或近似自然语言，但这时的解释过程较为复杂，学习元必须先然语言，但这时的解释过程较为复杂，学习元必须先充分理解这种语言，然后需要转换为无二义的形式化充分理解这种语言，然后需要转换为无二义的形式化描述。如果指导者的建议是用一种受限制的语言描述描述。如果指导者的建议是用一种受限制的语言描述的，则系统的识别就会容易一些。语言受限制越多，的，则系统的识别就会容易一些。语言受限制越多，系统识别将越容易，但指导者会感到越不方便
35、。系统识别将越容易，但指导者会感到越不方便。操作化操作化 该步是把经解释后的指导者的建议转换成具体的该步是把经解释后的指导者的建议转换成具体的知识。尽管通过解释可以把指导者的建议转化成知识。尽管通过解释可以把指导者的建议转化成机器的内部形式，但是这种内部形式是不能被执机器的内部形式，但是这种内部形式是不能被执行元素直接使用的，还要加工成推理机所能直接行元素直接使用的，还要加工成推理机所能直接使用的形式。使用的形式。操作化过程消除专家提供的教导与知识库级知识操作化过程消除专家提供的教导与知识库级知识的层次差异，有点像把高级语言的程序设计说明的层次差异，有点像把高级语言的程序设计说明转化为应用程序
36、的自动程序设计系统，但比自动转化为应用程序的自动程序设计系统，但比自动程序设计系统的要求要低。该系统要求给出的是程序设计系统的要求要低。该系统要求给出的是一个完全正确的程序，而操作化却不能保证所建一个完全正确的程序，而操作化却不能保证所建立知识的绝对正确性。立知识的绝对正确性。归并归并 该步的任务是把新知识加入知识库。要考虑该知识是否合适，该步的任务是把新知识加入知识库。要考虑该知识是否合适，必须仔细检查新知识库。这些检查包括必须仔细检查新知识库。这些检查包括:冗余性检查冗余性检查，是否使原有的一条或一部分知识成为冗余；，是否使原有的一条或一部分知识成为冗余；重叠性检查重叠性检查，解决重叠问题
37、有两种方法，一种是使规则特，解决重叠问题有两种方法，一种是使规则特殊化，这样重叠问题就不会再出现；另一种是使用元规则，殊化，这样重叠问题就不会再出现；另一种是使用元规则，即在知识库中加入一些用来指定其他规则优先级的元规则。即在知识库中加入一些用来指定其他规则优先级的元规则。一致性检查，一致性检查，即新的知识并入库中后，是否会出现由相同即新的知识并入库中后，是否会出现由相同的事实推出矛盾的结果。解决这个问题的办法也有两种的事实推出矛盾的结果。解决这个问题的办法也有两种:一种一种是修改规则的条件以消除矛盾；另一种是利用元规则排序，是修改规则的条件以消除矛盾；另一种是利用元规则排序，以确定优先使用哪
38、一条规则。以确定优先使用哪一条规则。完整性检查，完整性检查，即新的知识并入后是否会出现在某些事实组即新的知识并入后是否会出现在某些事实组合下推不出结论的情况。合下推不出结论的情况。评价评价 因为从专家获取的教导经过翻译、操作化和归并，这些因为从专家获取的教导经过翻译、操作化和归并，这些过程都带有一定的尝试性，而且专家的教导也未必是精确过程都带有一定的尝试性，而且专家的教导也未必是精确的，所以，新加入知识库的知识必须用某种方法来进行评的，所以，新加入知识库的知识必须用某种方法来进行评价。价。评价需要有行为标准，系统通常将专家或专家组的解答与评价需要有行为标准，系统通常将专家或专家组的解答与系统的
39、解答作比较，建立有关新知识如何影响系统执行的系统的解答作比较，建立有关新知识如何影响系统执行的详细估计，用它来发现并找出知识库中的错误。这些预见详细估计，用它来发现并找出知识库中的错误。这些预见能用于系统检测和定位知识库的缺陷。能用于系统检测和定位知识库的缺陷。评价结果可以反馈到请求阶段。当程序诊断出工作不正常评价结果可以反馈到请求阶段。当程序诊断出工作不正常时，它能够通知专家请求附加教导。一个更复杂的方法是时，它能够通知专家请求附加教导。一个更复杂的方法是让程序指出知识库在哪一部分是不正确的。一旦错误被定让程序指出知识库在哪一部分是不正确的。一旦错误被定位，提问指导系统就能请专家告知它如何修
40、改这个不正确位，提问指导系统就能请专家告知它如何修改这个不正确的知识。的知识。33 示例学习示例学习 示例学习示例学习又称为又称为实例学习实例学习或或从例子中学习从例子中学习，它是通过从环境，它是通过从环境中取得若干与某概念有关的例子，经归纳得出一般性概念的中取得若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。在这种学习方法中，外部环境一种学习方法。在这种学习方法中，外部环境(教师教师)提供的是提供的是一组例子一组例子(正例和反例正例和反例)。示例学习就是要从这些特殊知识中归。示例学习就是要从这些特殊知识中归纳出适用于更大范围的一般性知识，它将覆盖所有的正例并纳出适用于更大范围的一
41、般性知识，它将覆盖所有的正例并排除所有反例。排除所有反例。简单的示例学习仅利用正例，缺点是会使推出的概念的外延简单的示例学习仅利用正例，缺点是会使推出的概念的外延扩大化。一种典型方式是利用正例来产生概念，用反例来防扩大化。一种典型方式是利用正例来产生概念，用反例来防止概念外延的扩大。止概念外延的扩大。当前对示例学习的研究集中在两个方面，一方面是例子当前对示例学习的研究集中在两个方面，一方面是例子类型的一般化，另一方面是部分类型的一般化，另一方面是部分整体的一般化。前一方整体的一般化。前一方面给系统提供某一类对象的独立示例，系统的目标是归纳出面给系统提供某一类对象的独立示例，系统的目标是归纳出这
42、些类的一般描述。在后一方面中，任务是假设整个对象这些类的一般描述。在后一方面中，任务是假设整个对象(情情景、情况、过程景、情况、过程)的描述，但只给系统对象的局部。的描述，但只给系统对象的局部。1.示例学习的学习模型示例学习的学习模型 示例空间存放着系统提供的示例和训练事件的集合。知识库示例空间存放着系统提供的示例和训练事件的集合。知识库存放着由示例归纳出的事物所具有的各种事实和规则的集合。存放着由示例归纳出的事物所具有的各种事实和规则的集合。反过来，这些知识又需要进一步用示例空间的示例来检验，反过来，这些知识又需要进一步用示例空间的示例来检验，同时也需要运用示例空间中的示例所提供的启发式信息
43、来引同时也需要运用示例空间中的示例所提供的启发式信息来引导对知识库的搜索。导对知识库的搜索。示例学习的学习过程是示例学习的学习过程是:首先从示例空间首先从示例空间(环境环境)中选择合适的中选择合适的训练示例，再由解释过程对示例空间的例子进行解释，并抽训练示例，再由解释过程对示例空间的例子进行解释，并抽象出一般性知识放入知识库；之后，由验证过程利用示例空象出一般性知识放入知识库；之后，由验证过程利用示例空间的示例对知识的正确性进行验证，如果发现该知识不正确，间的示例对知识的正确性进行验证，如果发现该知识不正确，则需要再到示例空间中获取示例，并对刚形成的知识进行修则需要再到示例空间中获取示例，并对
44、刚形成的知识进行修正；如此循环，直到形成正确的知识为止。正；如此循环，直到形成正确的知识为止。图图5-5 5-5 示例学习的学习模型示例学习的学习模型验证过程验证过程示例空间示例空间搜索搜索知识库知识库形成知识形成知识解释空间解释空间2.示例空间示例空间 示例空间是所有可对系统进行训练的示例示例空间是所有可对系统进行训练的示例集合。与示例空间有关的主要问题是示例集合。与示例空间有关的主要问题是示例的质量、数量以及它们在示例空间中的组的质量、数量以及它们在示例空间中的组织，其质量和数量将直接影响到学习的质织，其质量和数量将直接影响到学习的质量，而示例的组织方式将影响到学习的效量，而示例的组织方式
45、将影响到学习的效率。率。3.搜索 搜索的作用是从示例空间中查找所需的搜索的作用是从示例空间中查找所需的示例。搜索示例空间的目的是要选择适示例。搜索示例空间的目的是要选择适当的示例，它与知识库相关。其方法注当的示例，它与知识库相关。其方法注意以下三点：意以下三点：优先选择对划分知识空间最有利的示优先选择对划分知识空间最有利的示例；例；优先选择知识库中最有希望的规则，优先选择知识库中最有希望的规则，然后再针对示例对其进行验证；然后再针对示例对其进行验证；注意选择那些与规则相矛盾的示例。注意选择那些与规则相矛盾的示例。4.解释过程和形成知识 解释过程解释过程是从搜索到的示例中抽象出有关信息供形成知是
46、从搜索到的示例中抽象出有关信息供形成知识使用。形成知识是指把经解释得到的有关信息通过综合、识使用。形成知识是指把经解释得到的有关信息通过综合、归纳等形成一般性的知识。其方法包括：变量代换常量、归纳等形成一般性的知识。其方法包括：变量代换常量、舍弃条件、增加操作、合取变析取、归纳总结、曲线拟合舍弃条件、增加操作、合取变析取、归纳总结、曲线拟合几个方面。几个方面。假设示例空间中有以下两个关于扑克牌中假设示例空间中有以下两个关于扑克牌中“同花同花”的概念的概念:示例示例1:花色花色(a，梅花，梅花)花色花色(b，梅花，梅花)花色花色(c，梅花，梅花)花色花色(d，梅花，梅花)花色花色(e，梅花，梅花
47、)同花同花(a，b，c，d，e)示例示例2:花色花色(a，红桃，红桃)花色花色(b，红桃，红桃)花色花色(c，红桃，红桃)花色花色(d，红桃，红桃)花色花色(e，红桃，红桃)同花同花(a，b，c，d，e)只要把只要把“梅花梅花”和和“红桃红桃”用变量用变量x代换，就可得一般性代换，就可得一般性规则规则:规则规则1:花色花色(a，x)花色花色(b，x)花色花色(c，x)花色花色(d，x)花色花色(e，x)同花同花(a，b，c，d，e)4.解释过程和形成知识 有关曲线拟合的问题，假设示例空间存放有有关曲线拟合的问题，假设示例空间存放有如下的三个示例如下的三个示例:示例示例1:(0，2，7)示例示例
48、2:(6，-1，10)示例示例3：(-1，-5，-16)这是三个这是三个3维向量，表示空间中的三个点。现维向量，表示空间中的三个点。现要求求出过这三点的曲线。拟合归纳出规则要求求出过这三点的曲线。拟合归纳出规则:（x，y，2x+3y+1），即），即z=2x+3y+l。5.知识库 知识库主要由规则空间构成，有三点要求：知识库主要由规则空间构成，有三点要求：规则表示方法应适应归纳推理的要求；规则表示方法应适应归纳推理的要求；规则的表示应与示例的表示一致；规则的表示应与示例的表示一致；规则空间应包含要求的规则。规则空间应包含要求的规则。规则空间搜索的常用方法有：规则空间搜索的常用方法有：变型空间法。
49、采用统一形式表示规则和示例；变型空间法。采用统一形式表示规则和示例；改进规则法。系统根据示例选择一种操作，并改进规则法。系统根据示例选择一种操作，并用该操作去改进规则空间中的规则；用该操作去改进规则空间中的规则；产生与测试法。先由示例产生规则，然后对示产生与测试法。先由示例产生规则，然后对示例反复产生和测试所生成的规则。例反复产生和测试所生成的规则。6.验证过程验证过程 验证验证主要完成检验所形成的知识的正确性，主要完成检验所形成的知识的正确性，为此需从示例空间中选择大量的示例。如为此需从示例空间中选择大量的示例。如果通过验证发现形成的知识不正确，则需果通过验证发现形成的知识不正确，则需进一步
50、获得示例，对刚才形成的知识进行进一步获得示例，对刚才形成的知识进行修正。重复这一过程，直到形成正确的知修正。重复这一过程，直到形成正确的知识为止。识为止。534 类比学习类比学习 1.类比学习的概念类比学习的概念 类比学习是人类认识事物、获取新概念或新技巧的一种重类比学习是人类认识事物、获取新概念或新技巧的一种重要方法。它根据以往经验应用相似性把已知知识转换为适要方法。它根据以往经验应用相似性把已知知识转换为适于新情况的形式。人们每遇到一个新问题时，都会联想起于新情况的形式。人们每遇到一个新问题时，都会联想起一些以前遇到过的问题。即当一个新的事物和另一个已知一些以前遇到过的问题。即当一个新的事
