1、 纲要纲要 智能决策支持系统概述智能决策支持系统概述 人工智能人工智能 专家系统专家系统 神经网络神经网络 遗传算法遗传算法 机器学习机器学习IDSS成功实例成功实例(1)(1)东海渔业资源评估专家系统东海渔业资源评估专家系统这个系统是国家这个系统是国家863863高科技项目高科技项目863-818-07863-818-07专题的一个组成部分。本专题目标任务是建专题的一个组成部分。本专题目标任务是建立具有我国自主立具有我国自主 知识产权的渔情分析专家系统和构建一个以东海渔区（知识产权的渔情分析专家系统和构建一个以东海渔区（25253434N N，130130E E以西海区以西海区)为示范海区，
2、以为示范海区，以 卫星遥感渔业分析技术、海洋渔业服务地理信息系统卫星遥感渔业分析技术、海洋渔业服务地理信息系统技术和渔情分析专家系统技术为支撑的海洋渔业遥技术和渔情分析专家系统技术为支撑的海洋渔业遥 感信息与资源评估服务系统。该项感信息与资源评估服务系统。该项目获得目获得20012001年度中科院科技进步二等奖，年度中科院科技进步二等奖，20022002年度国家科技进步二等奖。年度国家科技进步二等奖。(2)(2)面向对象的智能故障诊断专家系统面向对象的智能故障诊断专家系统本系统用于设备自动化测试时的故障诊断，诊断软件主要通过读取数据库获得诊断所需本系统用于设备自动化测试时的故障诊断，诊断软件主
3、要通过读取数据库获得诊断所需数据，对测试过程数据，对测试过程 中出现的故障进行诊断，如自动化测试系统与主控计算机通信故障中出现的故障进行诊断，如自动化测试系统与主控计算机通信故障的诊断，对动力系统的综合控制装置的诊断，对动力系统的综合控制装置 故障进行诊断，对设备上电气系统中独立的小元故障进行诊断，对设备上电气系统中独立的小元器件故障进行诊断，最后对测试系统采集到的数据进行分析，器件故障进行诊断，最后对测试系统采集到的数据进行分析，包括绘制数据曲线，对包括绘制数据曲线，对曲线作定性分析，显示分析结果。曲线作定性分析，显示分析结果。(3)(3)工商行固定资产贷款风险决策系统工商行固定资产贷款风险
4、决策系统本系统是一个交互式系统，即在决策过程中向用户提出一些需要以数字回答的问题，界本系统是一个交互式系统，即在决策过程中向用户提出一些需要以数字回答的问题，界面简洁、友好。面简洁、友好。在人机对话过程中，系统需要用户以数值形式输入一些供决策用的参在人机对话过程中，系统需要用户以数值形式输入一些供决策用的参数，如企业经营者素质评估，数，如企业经营者素质评估，经济实力，资金结构，经济效益，发展前景，信用等级经济实力，资金结构，经济效益，发展前景，信用等级系数，贷款金额，等等。同时给出一些选项系数，贷款金额，等等。同时给出一些选项 供用户选择，如抵押贷款方式，保证贷款供用户选择，如抵押贷款方式，保
5、证贷款方式，信用贷款方式，以及贷款形态等。系统根据用户提供方式，信用贷款方式，以及贷款形态等。系统根据用户提供 的信息计算出全部贷款资的信息计算出全部贷款资产风险权重额，全部固定资产贷款资产风险度，并结合企业的信用等级，产风险权重额，全部固定资产贷款资产风险度，并结合企业的信用等级，给出评估图给出评估图表，最后给出贷款与否的建议。表，最后给出贷款与否的建议。(4)(4)税务稽查税务稽查鉴于稽查工作的重要性和工作复杂性，手工稽查不足以胜任繁琐的稽查任务，利用计算鉴于稽查工作的重要性和工作复杂性，手工稽查不足以胜任繁琐的稽查任务，利用计算机进行稽查机进行稽查 选案势在必行。一个好的计算机选案系统能
6、够科学地、有效地确立稽查对选案势在必行。一个好的计算机选案系统能够科学地、有效地确立稽查对象，从而使得集中力量重象，从而使得集中力量重 点稽查成为可能。税务稽查计算机选案系统即是为满足这一点稽查成为可能。税务稽查计算机选案系统即是为满足这一需求而开发的。税务稽查具体分为：需求而开发的。税务稽查具体分为：选案管理、计划管理、稽查实施、案件审理、执选案管理、计划管理、稽查实施、案件审理、执行分析这五个环节。行分析这五个环节。在此基础上在此基础上,建立智能的计算建立智能的计算 机自动选案系统，做到有法可依，机自动选案系统，做到有法可依，有据可依、有的放矢扩大选案，为税务稽查工作提供科学、规范的依据。
7、有据可依、有的放矢扩大选案，为税务稽查工作提供科学、规范的依据。DSS人人 工工 智智 能能专专家家系系统统机机器器学学习习人人工工神神经经元元网网络络专家知识优专家知识优势势IDSSDSS+AI提高支持非结构化决策能力提高支持非结构化决策能力知识获取困知识获取困难难知识知识库库数据库数据库（DB）数据库管理系统数据库管理系统（DBMS）模型库模型库（MB）模型库管理系统模型库管理系统（MBMS）方法库方法库（MEB）方法库管理系统方法库管理系统（MEBMS）对话生成管理系统对话生成管理系统（DGMS）终端显示器终端显示器用户用户数据库数据库模型库模型库人机接口人机接口方法库方法库管理系统管理
8、系统模型库模型库管理系统管理系统用用 户户数据库数据库管理系统管理系统方法库方法库知识库知识库知识库知识库管理系统管理系统自然语言处理系统自然语言处理系统问题处理系统问题处理系统推理机推理机IDSS：更好地理解人更好地理解人 能积累已有知识能积累已有知识 能获得新知识能获得新知识 提高分析和求解能力提高分析和求解能力 自然语言处理系统自然语言处理系统 知识库知识库 推理机推理机 问题处理系统问题处理系统自然语言表达的自然语言表达的决策问题决策问题系统能理解的方式系统能理解的方式表达的决策问题表达的决策问题人机接口人机接口自然语言处理系统自然语言处理系统问题处理系统问题处理系统语法、语义语法、语
9、义结构分析结构分析问题处理系统问题处理系统工作流程工作流程 问问 题题 求求 解解 器器结构化问题结构化问题：模型选择或构造模型选择或构造 非结构化问题非结构化问题：推论或知识推理推论或知识推理 问问 题题 分分 析析 器器 问题描述问题描述 人人 机机 接接 口口自然语言处理系统自然语言处理系统 结果结果 四四 库库 系系 统统求解资源求解资源回答知识请求回答知识请求回答知识库维护请求回答知识库维护请求知识库知识库知识库知识库管理系统管理系统推理机推理机知识库包含事实库和规知识库包含事实库和规则库两部分则库两部分从已知事实从已知事实推出新事实推出新事实 知识库子系统：知识库子系统：获取、解释
10、、表示、推理及管理与维护知识获取、解释、表示、推理及管理与维护知识 知识的获取知识的获取 知识的表示是知识的符号化过程知识的表示是知识的符号化过程 常见的知识表示形式有：常见的知识表示形式有：产生式规则产生式规则语义网络表示语义网络表示知识的框架表示知识的框架表示脚本表示脚本表示过程表示过程表示Petri网表示网表示面向对象表示面向对象表示 规则：规则：标准形式：标准形式：如果如果 则则 ;A-B实例：实例：如果（植物正在枯萎）而且并非（叶子有黄斑）如果（植物正在枯萎）而且并非（叶子有黄斑）则（植物缺少足够的水）则（植物缺少足够的水）产生式规则产生式规则 a)推理：是指从已知事实推出新事实推理
11、：是指从已知事实推出新事实(结论结论)的的过程。过程。b)推理机：是一组程序，它针对用户问题去处推理机：是一组程序，它针对用户问题去处理知识库理知识库(规则和事实规则和事实)。例：例：规则规则 拖债达拖债达3 3级及以上的客户信用低级及以上的客户信用低 事实事实 该客户拖债达该客户拖债达4 4级级 结论结论 该客户信用低该客户信用低 例：例：规则规则 与信用低的客户做交易要谨慎与信用低的客户做交易要谨慎 事实事实 该客户信用低该客户信用低 结论结论 与该客户做交易要谨慎与该客户做交易要谨慎c)推理原理如下：推理原理如下：若事实若事实M M为真，且有一规则为真，且有一规则“TF M THEN N
12、”“TF M THEN N”存在，则存在，则N N为真。为真。事实事实“任务任务A A是紧急订货是紧急订货”为真，且有一规则为真，且有一规则“IF“IF任任务务i i是紧急订货是紧急订货THENTHEN任务任务i i按优先安排计划按优先安排计划”存在，则任务存在，则任务A A就应优先安排计划。就应优先安排计划。根据推理方向的不同：根据推理方向的不同：正向推理、反向推理正向推理、反向推理两库的初始状态两库的初始状态 1.AB-G 2.CD-A 3.E-D产生式规则库产生式规则库B,C,E事实库事实库B,C,E,D,A,G事实库的最后状态事实库的最后状态人工智能（人工智能（AI）人工智能是计算机科
13、学的一个分支，是人工智能是计算机科学的一个分支，是一门研究机器智能的学科，即用人工的方一门研究机器智能的学科，即用人工的方法和技术，研制智能机器或智能系统来模法和技术，研制智能机器或智能系统来模仿、延伸和扩展人的智能，实现智能行为。仿、延伸和扩展人的智能，实现智能行为。（符号、连接和行为）（符号、连接和行为）人工智能的历史背景人工智能的历史背景人工智能在中国的历史渊源人工智能在中国的历史渊源:司辰、击鼓、司辰、击鼓、报时的报时的“机关人机关人”会跳舞的会跳舞的“人形舞姬人形舞姬”，西周周穆王偃师，西周周穆王偃师能捕鼠的木制能捕鼠的木制“钟馗钟馗”会化缘的会化缘的“木僧人木僧人”，等等，等等.国
14、际方面：国际方面：英国科学家图灵于英国科学家图灵于1936 年提出年提出“理论计算机理论计算机”模型，被称之为模型，被称之为“图灵图灵机机”(Turing Machine)，创立了，创立了“自动机理论自动机理论”。1950 年，图灵发表了著名论文年，图灵发表了著名论文 计算机能思维吗？，明确地提计算机能思维吗？，明确地提出了出了“机器能思维机器能思维”的观点。的观点。1943 年，美国科学家麦卡洛克（年，美国科学家麦卡洛克（W.S.McCulloch）、匹茨（）、匹茨（W.H.Pitts）研制出世界上第一个人工神经细胞模型，被称之为）研制出世界上第一个人工神经细胞模型，被称之为“MP模模型型”
15、。从仿生学观点，以结构模拟方法，探讨人工智能的途径。从仿生学观点，以结构模拟方法，探讨人工智能的途径。1948年，美国科学家维纳等创立了年，美国科学家维纳等创立了“控制论控制论”（Cybernetics）,研究研究动物与机器中的控制和通讯的共同规律，在生物科学与工程技术动物与机器中的控制和通讯的共同规律，在生物科学与工程技术之间架起了学术桥梁，开拓了从行为模拟观点研究人工智能的园之间架起了学术桥梁，开拓了从行为模拟观点研究人工智能的园地。地。类人行为：图灵测试类人行为：图灵测试(1950)图灵建议：不是问“机器能否思考”，而是问“机器能否通过关于行为的智能测试”Alan Turing24 博弈
16、：博弈：IBM公司的公司的“深蓝深蓝”成为第一个在国际象成为第一个在国际象棋比赛中战胜世界冠军的计算机程序棋比赛中战胜世界冠军的计算机程序 1997年，一次公开赛中年，一次公开赛中3.5/2.5比分战胜卡斯帕比分战胜卡斯帕罗夫，他说从棋盘对面感到了罗夫，他说从棋盘对面感到了“一种新智能一种新智能”25 后勤规划：后勤规划：1991年海湾战争中美国军队配备了年海湾战争中美国军队配备了一个动态分析和重规划工具一个动态分析和重规划工具DART,用于自动用于自动后勤规划与运输调度后勤规划与运输调度该系统同时涉及该系统同时涉及50000个车辆、货物和人，个车辆、货物和人，而且要考虑起点、目的地、路径，解
17、决所有而且要考虑起点、目的地、路径，解决所有参数之间的冲突。使用参数之间的冲突。使用AI技术使规划在几小技术使规划在几小时内完成，而传统方法需要几个星期时内完成，而传统方法需要几个星期DARPA称就此一项投资足以补偿称就此一项投资足以补偿DARPA在在AI方面方面30年的投资年的投资26搜索技术搜索技术 基本搜索法基本搜索法：广度和深度优先搜索法广度和深度优先搜索法 生成测试法生成测试法 爬山法爬山法 启发式搜索启发式搜索 博弈算法博弈算法761467146741268713426871342687134761467146741268713426871342687134761467146741
18、268713426871342687134生成测试法生成测试法 生成一个可能状态节点生成一个可能状态节点 测试该状态是否为目标状态测试该状态是否为目标状态 若是，则结束；否则回到第一步若是，则结束；否则回到第一步 在搜索过程中，如果总是利用旧状态生成在搜索过程中，如果总是利用旧状态生成所有可能的新状态，而且状态节点以从旧所有可能的新状态，而且状态节点以从旧到新的顺序逐个生成，这种生成测试法就到新的顺序逐个生成，这种生成测试法就是？如果总是利用刚生成的状态来生成新是？如果总是利用刚生成的状态来生成新状态，则是？状态，则是？爬山法爬山法 开始状态作为一个可能状态开始状态作为一个可能状态 从一个可能
19、状态，应用规则生成所有新的可能状从一个可能状态，应用规则生成所有新的可能状态集态集 对该状态集中的每一个状态，进行以下操作：对该状态集中的每一个状态，进行以下操作：对该状态进行测试，检查是否为目标，是则停止对该状态进行测试，检查是否为目标，是则停止计算该状态的好坏，或者比较各状态的好坏计算该状态的好坏，或者比较各状态的好坏 取状态集中的最好状态，作为下一个可能状态取状态集中的最好状态，作为下一个可能状态 循环第二步循环第二步启发式搜索启发式搜索 是对每个在搜索过程中遇到的新状态，用一个估是对每个在搜索过程中遇到的新状态，用一个估计函数（启发式函数）并计算其值得大小，确定计函数（启发式函数）并计
20、算其值得大小，确定下一步将从哪个状态开始继续前进下一步将从哪个状态开始继续前进 一般以估计值小者为较优的状态，以此实行最优一般以估计值小者为较优的状态，以此实行最优搜索搜索 人们可能由于自动化而失业人们可能由于自动化而失业 人们可能拥有过多或过少的闲暇时间人们可能拥有过多或过少的闲暇时间 人们可能会失去作为人的独一无二的感觉人们可能会失去作为人的独一无二的感觉 人们可能会失去一些个人隐私权人们可能会失去一些个人隐私权 人工智能系统的应用可能会导致责任感的丧失人工智能系统的应用可能会导致责任感的丧失 人工智能的成功可能意味着人类种族的终结人工智能的成功可能意味着人类种族的终结人工智能及其在决策系
21、统中的应用人工智能及其在决策系统中的应用蔡自兴蔡自兴 姚莉姚莉 国防科技大学出版社国防科技大学出版社34专家系统专家系统 专家系统是一种计算机程序，它使用知识专家系统是一种计算机程序，它使用知识及推理机制去解决需要专家才能解决的复及推理机制去解决需要专家才能解决的复杂问题。杂问题。稀缺资源，让专家的知识得到长期保存和稀缺资源，让专家的知识得到长期保存和被更多的用户所使用被更多的用户所使用专家系统专家系统特点：特点：运用专家知识运用专家知识知识转换为系统的内部表示知识转换为系统的内部表示使用符号推理方法使用符号推理方法运用启发式规则运用启发式规则 具代表性的有医药专家系统具代表性的有医药专家系统
22、MYCIN、探矿专家系、探矿专家系统统PROSPECTOR等。等。20世纪世纪80年代，专家系统年代，专家系统的开发趋于商品化，创造了巨大的经济效益。的开发趋于商品化，创造了巨大的经济效益。20世纪世纪80年代以来，在知识工程的推动下，涌现年代以来，在知识工程的推动下，涌现出了不少专家系统开发工具，例如出了不少专家系统开发工具，例如EMYCIN、CLIPS(OPS5,OPS83)、G2、KEE、OKPS等。等。第一个专家系统第一个专家系统DENDRAL是化学分析专家系统，由美国是化学分析专家系统，由美国科学家费根鲍姆（科学家费根鲍姆（E.A.Feigennbaum）于）于1965 年提出，年提
23、出，1968年研制成功的。年研制成功的。医疗专家系统医疗专家系统MYCIN 是由斯坦福大学（是由斯坦福大学（Stanford University）肖特利夫）肖特利夫(E.H.Shortliffe）等人于）等人于1971年年开始研制，开始研制，1974 年基本完成，年基本完成，1976年发表的，具有类似年发表的，具有类似于内科医生的知识和经验，可用于血液感染病的诊断、于内科医生的知识和经验，可用于血液感染病的诊断、治疗和咨询服务。治疗和咨询服务。地质勘探专家系统（地质勘探专家系统（PROSPECTOR）。它是由斯坦福）。它是由斯坦福研究所（研究所（SRI）的杜达（）的杜达（R.O.Duda）等
24、研制的，可用于）等研制的，可用于地质勘测数据分析，探查矿床的类型、蕴藏量、分布。地质勘测数据分析，探查矿床的类型、蕴藏量、分布。从从1976 年开始研制，年开始研制，1981 年基本完成，其特点是具有年基本完成，其特点是具有多专家、多专业的知识和经验。多专家、多专业的知识和经验。国内应用国内应用 早在早在1977年，中国科学院自动化研究所就基于关幼波先年，中国科学院自动化研究所就基于关幼波先生的经验，研制成功了我国第一个生的经验，研制成功了我国第一个“中医肝病诊治专家系中医肝病诊治专家系统统”。1985年年10月中科院合肥智能所熊范纶建成月中科院合肥智能所熊范纶建成“砂姜黑土小麦砂姜黑土小麦施
25、肥专家咨询系统施肥专家咨询系统”，这是我国第一个农业专家系统。这是我国第一个农业专家系统。中科院计算所史忠植与东海水产研究所等合作，研制了中科院计算所史忠植与东海水产研究所等合作，研制了东海渔场预报专家系统。东海渔场预报专家系统。在专家系统开发工具方面，中科院数学研究所研制了专在专家系统开发工具方面，中科院数学研究所研制了专家系统开发环境家系统开发环境“天马天马”，中科院合肥智能所研制了农业，中科院合肥智能所研制了农业专家系统开发工具专家系统开发工具“雄风雄风”，中科院计算所研制了面向对，中科院计算所研制了面向对象专家系统开发工具象专家系统开发工具“OKPS”。专家系统的类型专家系统的类型 解
26、释专家系统解释专家系统 预测专家系统预测专家系统 诊断专家系统诊断专家系统 设计专家系统设计专家系统 规划专家系统规划专家系统 监视专家系统监视专家系统 控制专家系统控制专家系统 调试专家系统调试专家系统 教学专家系统教学专家系统 修理专家系统修理专家系统Questions1能根据学生的特点、弱点和基础知识，以最适当的教案和教学方法对学生能根据学生的特点、弱点和基础知识，以最适当的教案和教学方法对学生进行教学和辅导的专家系统是：进行教学和辅导的专家系统是：A解释专家系统解释专家系统B调试专家系统调试专家系统C监视专家系统监视专家系统D教学专家系统教学专家系统2用于寻找出某个能够达到给定目标的动
27、作序列或步骤的专家系统是：用于寻找出某个能够达到给定目标的动作序列或步骤的专家系统是：A设计专家系统设计专家系统B诊断专家系统诊断专家系统C预测专家系统预测专家系统D规划专家系统规划专家系统3能对发生故障的对象（系统或设备）进行处理，使其恢复正常工作的专家系统是：能对发生故障的对象（系统或设备）进行处理，使其恢复正常工作的专家系统是：A修理专家系统修理专家系统B诊断专家系统诊断专家系统C调试专家系统调试专家系统D规划专家系统规划专家系统4能通过对过去和现在已知状况的分析，推断未来可能发生的情况的专家系统是：能通过对过去和现在已知状况的分析，推断未来可能发生的情况的专家系统是：A修理专家系统修理
28、专家系统B预测专家系统预测专家系统C调试专家系统调试专家系统D规划专家系统规划专家系统 知识库知识库是问题求解所需要的是问题求解所需要的领域知识领域知识的集合，包括基本的集合，包括基本事实、规则和其他有关信息。知识库中知识的质量和数事实、规则和其他有关信息。知识库中知识的质量和数量决定着专家系统的质量水平。用户可以通过改变、完量决定着专家系统的质量水平。用户可以通过改变、完善知识库中的知识内容来提高专家系统的性能。善知识库中的知识内容来提高专家系统的性能。推理机推理机是实施问题求解的核心执行机构。推理机的程序是实施问题求解的核心执行机构。推理机的程序与知识库的具体内容无关，即推理机和知识库是分
29、离的，与知识库的具体内容无关，即推理机和知识库是分离的，这是专家系统的重要特征。这是专家系统的重要特征。知识获取知识获取负责建立、修改和扩充知识库，是专家系统中负责建立、修改和扩充知识库，是专家系统中把问题求解的各种专门知识从人类专家的头脑中或其他把问题求解的各种专门知识从人类专家的头脑中或其他知识源那里转换到知识库中的一个重要机构。知识源那里转换到知识库中的一个重要机构。人机界面人机界面是系统与用户进行交流时的界面。通过该界面，是系统与用户进行交流时的界面。通过该界面，用户输入基本信息、回答系统提出的相关问题。系统输用户输入基本信息、回答系统提出的相关问题。系统输出推理结果及相关的解释也是通
30、过人机交互界面。出推理结果及相关的解释也是通过人机交互界面。综合数据库综合数据库也称为动态库或工作存储器，是反映当前问也称为动态库或工作存储器，是反映当前问题求解状态的集合，用于存放系统运行过程中所产生的题求解状态的集合，用于存放系统运行过程中所产生的所有信息，以及所需要的原始数据，包括用户输入的信所有信息，以及所需要的原始数据，包括用户输入的信息、推理的中间结果、推理过程的记录等。息、推理的中间结果、推理过程的记录等。解释器解释器用于对求解过程做出说明，并回答用户的提问。用于对求解过程做出说明，并回答用户的提问。两个最基本的问题是两个最基本的问题是“why”“why”和和“how”“how”
31、。解释机制涉及。解释机制涉及程序的透明性，它让用户理解程序正在做什么和为什么程序的透明性，它让用户理解程序正在做什么和为什么这样做，向用户提供了关于系统的一个认识窗口。在很这样做，向用户提供了关于系统的一个认识窗口。在很多情况下，解释机制是非常重要的。为了回答多情况下，解释机制是非常重要的。为了回答“为什么为什么”得到某个结论的询问，系统通常需要反向跟踪动态库中得到某个结论的询问，系统通常需要反向跟踪动态库中保存的推理路径，并把它翻译成用户能接受的自然语言保存的推理路径，并把它翻译成用户能接受的自然语言表达方式。表达方式。专家系统的开发方式专家系统的开发方式（1）直接买成品的专家系统）直接买成
32、品的专家系统（2）买外壳，由用户输入知识。）买外壳，由用户输入知识。EMYCIN（3）自己建造：）自己建造：C+，LISP联合国工资计算专家系统联合国工资计算专家系统基本工资基本工资+“资格资格”IntelliCorp 公司的公司的 PowerModel工具工具神经科学：大脑是如何处理信息的？神经科学：大脑是如何处理信息的？大脑的神经元大脑的神经元输出输出W1W1W4W4W2W2W3W3X1 X2 X3 X4X1 X2 X3 X4输入输入加权加权传递传递加权和加权和Y Y处理处理单元单元输入层输入层隐蔽层隐蔽层输出层输出层神经元和神经网络模型神经元和神经网络模型NN研究方面研究方面 神经网络的
33、基本理论研究神经网络的基本理论研究 神经网络模型的研究神经网络模型的研究 学习算法研究学习算法研究 计算机模拟及硬件实现计算机模拟及硬件实现 应用研究应用研究神经网络模型神经网络模型 前向网络模型前向网络模型:感知机感知机 反馈网络模型反馈网络模型:Hopfield网络网络,双向联想记忆网络双向联想记忆网络 随机网络模型随机网络模型:Boltzmann机机 自组织网络模型：自组织网络模型：ART(自适应共振理论自适应共振理论)成熟算法成熟算法 BP算法算法 模拟退火算法模拟退火算法 竞争学习与相互激励学习算法竞争学习与相互激励学习算法Neural network A neural networ
34、k is a set of connected input/output units where each connection has a weight associated with it.During the learning phase,the network learns by adjusting the weights so as to be able to predict the correct class label of the input samples.Also called connectionist learning.BP网络网络 各种作用函数各种作用函数 0,1阶梯
35、函数阶梯函数 f(x)=1,(x0)f(x)=0,(x=0)-1,1阶梯函数阶梯函数(-1,1)S型函数型函数(0,1)S型函数型函数x1f(x)1eBP网络网络 1x2xnxijwjkwkOjOInputlayerHidden layerOutput layerSteps of backpropagation1.Initialize the weights:each unit has a bias associated with it.The weights and biases are initialized to small random numbers.Each training sa
36、mple X is processed by the following steps:2.the net input and output of each unit in the hidden and output layers are computed.unit j in the input layer:Oj=Ij Given a unit j in a hidden or output layer,the net input Ij is:jijijiIw OjjI1O1eA hidden or output layer unit joutputX0X1Xnj0jWf1jWnjWActiva
37、tionfunctionWeightedsumweightsInputs(outputsfrom previous layer)bias3.Backpropagation the error:the error is propagated backwards by updating the weights and biases to reflect the error of the networks prediction.For a unit j in the output layer,the error Errj:The error of a hidden layer unit j is:j
38、jjjjErrO(1 O)(T-O)jjjkkjkErrO(1 O)Err wTj is the true outputErrk is the error of unit k in the next higher layer The weights and biases are updated to reflect the propagated errors:ijjiijijijjjjjjw(l)ErrOwww;(l)Err;4.Terminating condition:training stops whenall in the previous epoch were so small as
39、 to be below some specified threshold,orthe percentage of samples misclassified in the previous epoch is below some threshold,ora prespecified number of epochs has expired.ijw1234561x2x3x35w56wSample calculations for learning by the backpropagation algorithm34w46w14wX=1,0,1,class label=1,l=0.9Initia
40、l input,weight,and bias valuesx1x2x3w14w15w24w25w34w35w46w561010.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1465The net input and output calculationsUnit j Net input,Ij Output,Oj40.2+0-0.5-0.4=-0.71/(1+e0.7)=0.3325-0.3+0+0.2+0.2=0.11/(1+e-0.1)=0.5256(-0.3)(0.332)-(0.2)(0.525)+0.1=-0.1051/(1+e0.105)=0.474Cal
41、culation of the error at each nodeUnit jErrj6(0.474)(1-0.474)(1-0.474)=0.13115(0.525)(1-0.525)(0.1311)(-0.2)=-0.00654(0.332)(1-0.332)(0.1311)(-0.3)=-0.0087Calculations for weight and bias updatingWeight or biasNew valuew46-0.3+(0.9)(0.1311)(0.332)=-0.261w56-0.2+(0.9)(0.1311)(0.525)=-0.138w140.2+(0.9
42、)(-0.0087)(1)=0.192w15-0.3+(0.9)(-0.0065)(1)=-0.306w240.4+(0.9)(-0.0087)(0)=0.4w250.1+(0.9)(-0.0065)(0)=0.1w34-0.5+(0.9)(-0.0087)(1)=-0.508w350.2+(0.9)(-0.0065)(1)=0.1940.1+(0.9)(0.1311)=0.2180.2+(0.9)(-0.0065)=0.194-0.4+(0.9)(-0.0087)=-0.408465comments Disadvantages:Involve long training timesRequi
43、re a number of parameters that are typically best determined empirically.Poor interpretability Advantages:High tolerance to noisy dataAbility to classify patterns on which they have not been trained遗传算法（遗传算法（Genetic Algorithms）物竞天择，适者生存物竞天择，适者生存 遗传算法（遗传算法（GA）根据适者生存，优胜劣汰）根据适者生存，优胜劣汰等自然进化规则来进行搜索计算和问题求
44、等自然进化规则来进行搜索计算和问题求解。解。全局优化算法，适合于具有很大搜索空间全局优化算法，适合于具有很大搜索空间的优化问题的优化问题遗传算法的搜索机制遗传算法的搜索机制 遗传算法模拟自然选择和自然遗传过程中发遗传算法模拟自然选择和自然遗传过程中发生的繁殖、交叉和基因突变现象，在每次迭代中生的繁殖、交叉和基因突变现象，在每次迭代中都保留一组候选解，并按某种指标从解群中选取都保留一组候选解，并按某种指标从解群中选取较优的个体，利用遗传算子较优的个体，利用遗传算子(选择、交叉和变异选择、交叉和变异)对对这些个体进行组合，产生新一代的候选解群，重这些个体进行组合，产生新一代的候选解群，重复此过程，
45、直到满足某种收敛指标为止。复此过程，直到满足某种收敛指标为止。基本概念基本概念染色体：染色体：由基因构成的位串，由基因构成的位串，是个体是个体(Individual)的形式的形式编码：编码：把解表示为位串的过程，编码后的每个位串就表示一个个体，把解表示为位串的过程，编码后的每个位串就表示一个个体，即问题的一个解即问题的一个解种群：种群：包含一组个体的群体，也是问题的解的集合。种群中个体的包含一组个体的群体，也是问题的解的集合。种群中个体的数量称为数量称为群体大小（群体大小（N）。基因：基因：串中的元素。例：串串中的元素。例：串S=1001，有四个基因，有四个基因1、0、0、1适应度适应度：评价
46、群体中个体适应能力的指标，解的好坏，由评价函数：评价群体中个体适应能力的指标，解的好坏，由评价函数F计算得到计算得到遗传算子遗传算子：产生新个体的操作：产生新个体的操作选择：选择：将个体直接复制到下一代群体中，个体适应度。将个体直接复制到下一代群体中，个体适应度。交叉：交叉：把两个串的部分基因交换，产生两个新串作为下一代的个体，把两个串的部分基因交换，产生两个新串作为下一代的个体，交叉概率交叉概率Pc决定两个个体进行交叉操作的可能性决定两个个体进行交叉操作的可能性变异：变异：随机地改变染色体的部分基因，随机地改变染色体的部分基因，Pm决定个体发生变异的可能决定个体发生变异的可能性性几个术语几个
47、术语 基因型：基因型：1000101110110101000111 编码解码个体（染色体）基因选择选择(selection)(selection)算子算子 GA使用选择运算来实现对群体中的个体进行优使用选择运算来实现对群体中的个体进行优胜劣汰操作：适应度高的个体被遗传到下一代群胜劣汰操作：适应度高的个体被遗传到下一代群体中的概率大；适应度低的个体，被遗传到下一体中的概率大；适应度低的个体，被遗传到下一代群体中的概率小。代群体中的概率小。选择操作的任务就是按某种方法从父代群体中选选择操作的任务就是按某种方法从父代群体中选取一些个体，遗传到下一代群体。取一些个体，遗传到下一代群体。选择选择 选择是
48、用来确定重组或交叉个体，以及被选个体选择是用来确定重组或交叉个体，以及被选个体将产生多少个子代个体首先计算适应度：将产生多少个子代个体首先计算适应度：按比例的适应度计算按比例的适应度计算基于排序的适应度计算等基于排序的适应度计算等 实际的选择：实际的选择：轮盘赌选择轮盘赌选择随机遍历抽样随机遍历抽样局部选择局部选择截断选择截断选择锦标赛选择等锦标赛选择等适应值比例法适应值比例法 轮盘赌选择又称比例选择算子，它的基本思轮盘赌选择又称比例选择算子，它的基本思想是：各个个体被选中的概率与其适应度函数值想是：各个个体被选中的概率与其适应度函数值大小成正比。设群体大小为大小成正比。设群体大小为n，个体，
49、个体i 的适应度为的适应度为 Fi，则个体，则个体i 被选中遗传到下一代群体的概率为：被选中遗传到下一代群体的概率为：niiiiFFP1/b1b2b3b4b5b6b7b8b9b10b11轮盘赌选择期望值方法期望值方法 计算群体中每个个体在下一代生存的期望数目计算群体中每个个体在下一代生存的期望数目：若某个个体被选中并要参与配对和交叉，则它若某个个体被选中并要参与配对和交叉，则它在下一代中的生存的期望数目减去在下一代中的生存的期望数目减去0.5；若不参；若不参与，则该个体的生存的期望数目减去与，则该个体的生存的期望数目减去1 在上面两种情况中，若一个个体的期望值小于在上面两种情况中，若一个个体的
50、期望值小于0时，则该个体不参与选择时，则该个体不参与选择iiiffMffn交叉交叉(crossover)算子算子 所谓交叉运算，是指对两个相互配对的染色体依所谓交叉运算，是指对两个相互配对的染色体依据交叉概率据交叉概率 Pc 按某种方式相互交换其部分基因，按某种方式相互交换其部分基因，从而形成两个新的个体。从而形成两个新的个体。交叉运算是遗传算法区别于其他进化算法的重要交叉运算是遗传算法区别于其他进化算法的重要特征，它在遗传算法中起关键作用，是产生新个特征，它在遗传算法中起关键作用，是产生新个体的主要方法。体的主要方法。交叉或基因重组交叉或基因重组 基因重组是结合来自父代交配种群中的信息产生新
