1、Artificial Neural NetworkArtificial Neural Network人工神经网络人工神经网络一、主要内容主要内容n人工神经网络简介人工神经网络简介 n人工神经网络发展历史人工神经网络发展历史 n人工神经网络模型人工神经网络模型 n人工神经网络的分类及学习规则人工神经网络的分类及学习规则 n人工神经网络的信息处理能力人工神经网络的信息处理能力 n人工神经网络的应用人工神经网络的应用 n人工智能与人工神经网络人工智能与人工神经网络 1.11.1人工神经网络简介人工神经网络简介n智能智能n智能就是智慧和能力，是个体有目的的行为、合理的智能就是智慧和能力，是个体有目的的
2、行为、合理的思维以及有效的适应环境的综合性能力。思维以及有效的适应环境的综合性能力。n经过数万年的演化，大自然中的各种生物均具有智能。经过数万年的演化，大自然中的各种生物均具有智能。n作为万物之灵的人，不仅具有智能，而且还能够智慧作为万物之灵的人，不仅具有智能，而且还能够智慧地制造各种工具来延伸和拓展自身的能力。地制造各种工具来延伸和拓展自身的能力。沙沙 蚁蚁人类不能感受到红外线，但响尾蛇的红外探测器可人类不能感受到红外线，但响尾蛇的红外探测器可以探测到几米外的老鼠以探测到几米外的老鼠 智能？智能？人工智能人工智能n通过对人类智力活动奥秘的探索与记忆思维机理的通过对人类智力活动奥秘的探索与记忆
3、思维机理的研究，来开发人类智力活动的潜能、探讨用各种机研究，来开发人类智力活动的潜能、探讨用各种机器模拟人类智能的途径，使人类的智能得以物化与器模拟人类智能的途径，使人类的智能得以物化与延伸，产生了一门学科，即所谓的延伸，产生了一门学科，即所谓的人工智能人工智能。n人工智能人工智能（Artificial Intelligence，AI） 在在20世纪世纪90年代，人工智能的符号主义、连接年代，人工智能的符号主义、连接主义和行为主义三种方法并存。主义和行为主义三种方法并存。 连接主义：连接主义：人工神经网络人工神经网络计算智能计算智能n近年来，借鉴仿生学思想，基于生物体系的生物进近年来，借鉴仿生
4、学思想，基于生物体系的生物进化、细胞免疫、神经细胞网络等某些机制，用数学化、细胞免疫、神经细胞网络等某些机制，用数学语言抽象描述的计算方法，来模仿生物体系和人类语言抽象描述的计算方法，来模仿生物体系和人类的智能机制，产生了所谓的计算智能的智能机制，产生了所谓的计算智能 n计算智能计算智能（Computational Intelligence, CI） 软计算软计算（Soft Computing, SC） 人工神经网络人工神经网络、模糊集理论（模糊集理论（Fuzzy Set, FS）、）、进化计进化计算（算（Evolutionary Computation, EC） 有关智能的研究基础上出现了诸
5、如：智能设计、有关智能的研究基础上出现了诸如：智能设计、智能制造、智能检测、智能监控、智能控制、智能智能制造、智能检测、智能监控、智能控制、智能交通等等应用智能的研究方向。交通等等应用智能的研究方向。 智能无处不在智能无处不在I believe that understanding intelligence involves understanding how knowledge is acquired, represented, and stored; how intelligent behavior is generated and learned; how motives, and em
6、otions, and priorities are developed and used; how sensory signals are transformed into symbols; how symbols are manipulated to perform logic, to reason about the past, and plan for the future; and how the mechanisms of intelligence produce the phenomena of illusion, belief, hope, fear, and dreams-a
7、nd yes even kindness and love. To understand these functions at a fundamental level, I believe, would be a scientific achievement on the scale of nuclear physics, relativity, and molecular genetics. James Albus, Response to Henry Hexmoor, from URL:http:/tommy.jsc.nasa.gov/er/er6/mrl/papers/symposium
8、/albus.txt February 13, 1995 “ “我认为，理解智能包括：知识如何获取、表达和我认为，理解智能包括：知识如何获取、表达和存储；智能行为如何产生和学习；动机、情感和优先存储；智能行为如何产生和学习；动机、情感和优先权如何发展和运用；传感器信号如何转换成各种符号；权如何发展和运用；传感器信号如何转换成各种符号；怎样利用各种符号执行逻辑运算、对过去进行推理及怎样利用各种符号执行逻辑运算、对过去进行推理及对未来进行规划；智能机制如何产生幻觉、信念、希对未来进行规划；智能机制如何产生幻觉、信念、希望、畏惧、梦幻甚至善良和爱情等现象。望、畏惧、梦幻甚至善良和爱情等现象。我相信，
9、我相信，对上述内容有一个根本的理解将会成为与拥有对上述内容有一个根本的理解将会成为与拥有原子物理、相对论和分子遗传学等级相当的科原子物理、相对论和分子遗传学等级相当的科学成就。学成就。” 智能信息处理智能信息处理 n人类在不断地进步，社会在不断地发展，这一方面人类在不断地进步，社会在不断地发展，这一方面受人的好奇心驱动，人具有探索自然规律、了解未受人的好奇心驱动，人具有探索自然规律、了解未知世界、探索自身奥妙的内动力；另一方面人具有知世界、探索自身奥妙的内动力；另一方面人具有生存和提高生活质量的需求。生存和提高生活质量的需求。n受这两方面原动力的驱动，人类不断地研究新的方受这两方面原动力的驱动
10、，人类不断地研究新的方法和技术，不断地研制各种工具、仪器和机器，来法和技术，不断地研制各种工具、仪器和机器，来延伸、拓展和增强自身的各种能力。延伸、拓展和增强自身的各种能力。 智能信息处理智能信息处理n人类所处的客观环境、所面对的客观世界是变化的、人类所处的客观环境、所面对的客观世界是变化的、发展的，是浩瀚无垠的；发展的，是浩瀚无垠的；n人类的知识虽然在不断丰富、不断更新，但是相对人类的知识虽然在不断丰富、不断更新，但是相对客观环境、客观世界，始终是不完全的、不可靠的、客观环境、客观世界，始终是不完全的、不可靠的、不精确的、不一致的和不确定的；不精确的、不一致的和不确定的；n人类正是用这不精确
11、的、不完美的知识，不断地、人类正是用这不精确的、不完美的知识，不断地、逐步地了解了客观世界，提高了生活质量。逐步地了解了客观世界，提高了生活质量。 智能信息处理智能信息处理n人工智能、人工智能、人工神经网络、进化计算、模糊系统理人工神经网络、进化计算、模糊系统理论等等都是人类在对客观世界、人类自身现有认识论等等都是人类在对客观世界、人类自身现有认识的基础上所产生的新的方法和理论，是人类进一步的基础上所产生的新的方法和理论，是人类进一步探索自然规律、了解未知世界、探索自身奥妙，提探索自然规律、了解未知世界、探索自身奥妙，提高生活质量的各种工具。高生活质量的各种工具。 智能信息处理智能信息处理n智
12、能信息处理就是将不完全的、不可靠的、不精确智能信息处理就是将不完全的、不可靠的、不精确的、不一致的和不确定的知识和信息逐步、逐步变的、不一致的和不确定的知识和信息逐步、逐步变得完全、可靠、精确、一致和确定的过程和方法，得完全、可靠、精确、一致和确定的过程和方法，就是利用对不精确性、不确定性的容忍来达到问题就是利用对不精确性、不确定性的容忍来达到问题的可处理性和鲁棒性。的可处理性和鲁棒性。n智能信息处理的对象及方法均具有多样性、复杂性智能信息处理的对象及方法均具有多样性、复杂性和综合性的特点。智能信息处理涉及到信息科学的和综合性的特点。智能信息处理涉及到信息科学的多个领域，是现代信号处理、人工神
13、经网络、模糊多个领域，是现代信号处理、人工神经网络、模糊系统理论、进化计算，包括人工智能等等理论和方系统理论、进化计算，包括人工智能等等理论和方法的综合应用。法的综合应用。 人工神经网络人工神经网络 亦称为神经网络（亦称为神经网络（Neural Networks, NN），），是由是由大量处理单元（神经元大量处理单元（神经元Neurons）广泛互连而成的网广泛互连而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基络，是对人脑的抽象、简化和模拟，反映人脑的基本特性。本特性。 人工神经网络的研究是从人脑的生理结构出发来人工神经网络的研究是从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的
14、功能。它研究人的智能行为，模拟人脑信息处理的功能。它是根植于神经科学、数学、统计学、物理学、计算是根植于神经科学、数学、统计学、物理学、计算机科学及工程等学科的一种技术。机科学及工程等学科的一种技术。是由简单的处理单元所组成的大量并行分布的是由简单的处理单元所组成的大量并行分布的处理机，这种处理机具有存储和应用经验知识处理机，这种处理机具有存储和应用经验知识的自然特性，它与人脑的相似之处概括为两个的自然特性，它与人脑的相似之处概括为两个方面：方面：一是通过学习过程利用神经网络从外部环境中获取知一是通过学习过程利用神经网络从外部环境中获取知识；识；二是内部神经元（突触权值）用来存储获取的知识信二
15、是内部神经元（突触权值）用来存储获取的知识信息。息。人工神经网络人工神经网络神经网络神经网络 与与 电子计算机电子计算机图灵图灵：英国数学家。：英国数学家。1912年年6月月23日出生于伦敦日出生于伦敦 Westminster区，区，1931年进入剑桥大学年进入剑桥大学Kings College攻读数学，毕业学位考试第一，获攻读数学，毕业学位考试第一，获Wrangler荣誉称号。荣誉称号。学位论文学位论文“The Central Limit Theorem of Probability”获获“Smith Prize”。毕业后到美国普林斯顿大学攻读毕业后到美国普林斯顿大学攻读博士学位，博士学位，
16、1936年发表了著名论文年发表了著名论文“On Computable Numbers with an Application to the Entscheidungs Problem”，该文回答了该文回答了“计算机计算机”到底是怎样的，如到底是怎样的，如何进行计算和工作，提出了计算模型何进行计算和工作，提出了计算模型“图灵图灵机机”( Turing Machine)。Alan Mathison Turing (1912 1954)1938年获博士学位，博士论文年获博士学位，博士论文“Systems of Logic Based on Ordinals”。1939年在英国外交部科研机构年在英国外
17、交部科研机构工作，二战期间用继电器做成工作，二战期间用继电器做成“Bombe”，协助军方协助军方破解德国的著名密码系统破解德国的著名密码系统Enigma，战后被受勋战后被受勋(Officer Order of the British Empire)。战后到英国国战后到英国国家物理实验室家物理实验室(National Physical Lab., NPL)，设计和设计和建造电子计算机建造电子计算机(Automatic Computing Engine, ACE)。1948年离开年离开NPL，到曼彻斯特大学新成立的到曼彻斯特大学新成立的Royal Society Computing Lab.194
18、8年年6月开发出被称为世界月开发出被称为世界上第一台存储程序式计算机上第一台存储程序式计算机Mark I。1950年年10月发表论文月发表论文“Computing Machinery and Intelligence” 认为计算机可以具有智能，并提出了一认为计算机可以具有智能，并提出了一种用于判定机器是否具有智能的试验方法，即图灵试种用于判定机器是否具有智能的试验方法，即图灵试验验(Turing Test)。1951年当选英国皇家学会院士。年当选英国皇家学会院士。1952年图灵被法院指控行为年图灵被法院指控行为“极端不当极端不当”。1954年年6月月7日，图灵服食浸过氰化物溶液的苹果日，图灵服
19、食浸过氰化物溶液的苹果“自杀自杀”。 享年享年42岁。岁。Thinking is computing Thinking is computing 1966年美国计算机协会设立计算机界的第一奖项年美国计算机协会设立计算机界的第一奖项“图灵奖图灵奖”被称为被称为“计算机界的诺贝尔奖计算机界的诺贝尔奖”ACM: Association for Computing MachineryIEEE Computer SocietyJohn von Neumann (1903-1957)20世纪最杰出的数学家之一，于世纪最杰出的数学家之一，于1945年提出了年提出了“程序程序内存式内存式”计算机的设计思想。这
20、一卓越的思想为电子计算机的设计思想。这一卓越的思想为电子计算机的逻辑结构设计奠定了基础，已成为计算机设计算机的逻辑结构设计奠定了基础，已成为计算机设计的基本原则。由于他在计算机逻辑结构设计上的伟计的基本原则。由于他在计算机逻辑结构设计上的伟大贡献，他被誉为大贡献，他被誉为“计算机之父计算机之父”。诺伊曼于诺伊曼于1903年出生于匈牙利的布达佩斯。他是一个年出生于匈牙利的布达佩斯。他是一个数字神童，数字神童，11岁时已显示出数学天赋。岁时已显示出数学天赋。12岁的诺伊曼岁的诺伊曼就对集合论，泛函分析等深奥的数学领域了如指掌。就对集合论，泛函分析等深奥的数学领域了如指掌。青年时期，诺伊曼师从于著名
21、数学家希尔伯特。在获得青年时期，诺伊曼师从于著名数学家希尔伯特。在获得数学博士之后，不满数学博士之后，不满30岁成为美国普林斯顿大学的第一岁成为美国普林斯顿大学的第一批终身教授。诺伊曼不仅是个数学天才，在其他领域也批终身教授。诺伊曼不仅是个数学天才，在其他领域也大有建树。他精通七种语言，在化学方面也有相当的造大有建树。他精通七种语言，在化学方面也有相当的造诣，更为难得的是，他并不仅仅局限于纯数学上的研究，诣，更为难得的是，他并不仅仅局限于纯数学上的研究，而是把数学应用到其他学科中去。对经典力学、量子力而是把数学应用到其他学科中去。对经典力学、量子力学和流体力学的数学基础进行过深入的研究，并获得
22、重学和流体力学的数学基础进行过深入的研究，并获得重大成果，诺伊曼具备了坚实的数理基础，和广博的知识，大成果，诺伊曼具备了坚实的数理基础，和广博的知识，为他后来从事计算机逻辑设计提供了坚强的后盾。为他后来从事计算机逻辑设计提供了坚强的后盾。1944年诺伊曼参加原子弹的研制工作，该工作涉及到年诺伊曼参加原子弹的研制工作，该工作涉及到极为困难的计算。他所在的洛极为困难的计算。他所在的洛斯阿拉莫斯实验室为此斯阿拉莫斯实验室为此聘用了一百多名女计算员，利用台式计算机从早到晚聘用了一百多名女计算员，利用台式计算机从早到晚计算，还是远远不能满足需要。无穷无尽的数字和逻计算，还是远远不能满足需要。无穷无尽的数
23、字和逻辑指令如同沙漠一样把人的智慧和精力吸尽。被计算辑指令如同沙漠一样把人的智慧和精力吸尽。被计算机所困扰的诺伊曼在一次极为偶然的机会中知道了机所困扰的诺伊曼在一次极为偶然的机会中知道了ENIAC计算机的研制计划，从此他投身到计算机研制计算机的研制计划，从此他投身到计算机研制这一宏伟的事业中，建立了一生中最大的丰功伟绩。这一宏伟的事业中，建立了一生中最大的丰功伟绩。 1944年夏的一天，正在火车站候车的诺伊曼巧遇戈尔斯年夏的一天，正在火车站候车的诺伊曼巧遇戈尔斯坦，并同他进行了短暂的交谈。戈尔斯坦是美国弹道实坦，并同他进行了短暂的交谈。戈尔斯坦是美国弹道实验室的军方负责人，他正参与验室的军方负
24、责人，他正参与ENIAC计算机的研制工作。计算机的研制工作。在交谈在，戈尔斯坦告诉了诺伊曼有关在交谈在，戈尔斯坦告诉了诺伊曼有关ENIAC的研制情的研制情况。具有远见卓识的诺伊曼为这一研制计划所吸引，他况。具有远见卓识的诺伊曼为这一研制计划所吸引，他意识到了这项工作的深远意义。几天之后，诺伊曼专程意识到了这项工作的深远意义。几天之后，诺伊曼专程来到莫尔学院，参观了尚未竣工的这台庞大的机器，并来到莫尔学院，参观了尚未竣工的这台庞大的机器，并以其敏锐的眼光，一下子抓住了计算机的灵魂逻辑以其敏锐的眼光，一下子抓住了计算机的灵魂逻辑结构问题，令结构问题，令ENIAC的研制们敬佩不已。的研制们敬佩不已。
25、因实际工作中对计算的需要以及把数学应用到其他科因实际工作中对计算的需要以及把数学应用到其他科学问题的强烈愿望，使诺伊曼迅速决定投身到计算机学问题的强烈愿望，使诺伊曼迅速决定投身到计算机研制者的行列。对业已功成名就的诺伊曼来说，这样研制者的行列。对业已功成名就的诺伊曼来说，这样做需要极大的勇气，因为这是一个成败未卜的新征途，做需要极大的勇气，因为这是一个成败未卜的新征途，一旦失败，会影响他已取得的名誉和地位。诺伊曼却一旦失败，会影响他已取得的名誉和地位。诺伊曼却以对新事物前途的洞察力，毅然决然地向此征途迈出以对新事物前途的洞察力，毅然决然地向此征途迈出了第一步，于了第一步，于1944年年8月加入
26、莫尔计算机研制小组，月加入莫尔计算机研制小组，为计算机研制翻开了辉煌的一页。为计算机研制翻开了辉煌的一页。 诺伊曼以其非凡的分析、综合能力及雄厚的数理基础，诺伊曼以其非凡的分析、综合能力及雄厚的数理基础，集众人之长，提出了一系列优秀的设计思想，在他和集众人之长，提出了一系列优秀的设计思想，在他和莫尔小组其他成员的共同努力下，只经历了短短的十莫尔小组其他成员的共同努力下，只经历了短短的十个月，人类在数千年中积累起来的科学技术文明，终个月，人类在数千年中积累起来的科学技术文明，终于结出了最激动人心的智慧之花一个全新的存储程于结出了最激动人心的智慧之花一个全新的存储程序通用电子计算机方案（序通用电子
27、计算机方案（EDVAC方案）诞生了。方案）诞生了。 诺伊曼以诺伊曼以“关于关于EDVAC的报告草案的报告草案”为题，起草了为题，起草了长达长达101页的总结报告。报告广泛而具体地介绍了制页的总结报告。报告广泛而具体地介绍了制造电子计算机和程序设计的新思想。报告明确规定，造电子计算机和程序设计的新思想。报告明确规定，EDVAC计算机由计算器、逻辑控制装置、存储器、计算机由计算器、逻辑控制装置、存储器、输入和输出五大部分组成，并阐述了这五大部分的职输入和输出五大部分组成，并阐述了这五大部分的职能和相互关系。这份报告是计算机发展史上一个划时能和相互关系。这份报告是计算机发展史上一个划时代的文献，它向
28、世界宣告：电子计算机的时代开始了。代的文献，它向世界宣告：电子计算机的时代开始了。1954年年6月，诺伊曼到美国普林斯顿高级研究所工作，月，诺伊曼到美国普林斯顿高级研究所工作，出任出任IAS计算机研制小组的主任职位。在那时，他提计算机研制小组的主任职位。在那时，他提出了更加完善的设计报告出了更加完善的设计报告“电子计算装置逻辑结构初电子计算装置逻辑结构初探探”。报告中，诺伊曼对。报告中，诺伊曼对EDVAC中的两大设计思想中的两大设计思想作了进一步的论证，为计算机的设计树立了一座里程作了进一步的论证，为计算机的设计树立了一座里程碑。设计思想之一是二进制，他根据电子元件双稳工碑。设计思想之一是二进
29、制，他根据电子元件双稳工作的特点，建议在电子计算机中采用二进制。报告提作的特点，建议在电子计算机中采用二进制。报告提到了二进制的优点，并预言，二进制的采用将大简化到了二进制的优点，并预言，二进制的采用将大简化机器的逻辑线路。实践证明了诺伊曼预言的正确性。机器的逻辑线路。实践证明了诺伊曼预言的正确性。程序内存是诺伊曼的另一杰作。通过对程序内存是诺伊曼的另一杰作。通过对ENIAC的考察，的考察，诺伊曼敏锐地抓住了它的最大弱点没有真正的存诺伊曼敏锐地抓住了它的最大弱点没有真正的存储器。储器。ENIAC只在只在20个暂存器，它的程序是外插型的，个暂存器，它的程序是外插型的，指令存储在计算机的其它电路中
30、。计算的高速与程序指令存储在计算机的其它电路中。计算的高速与程序的手工存在着很大的矛盾。针对这个问题，诺伊曼提的手工存在着很大的矛盾。针对这个问题，诺伊曼提出了程序内存的思想：把运算程序存在机器的存储器出了程序内存的思想：把运算程序存在机器的存储器中，这样，就不必每个问题都重新编程，从而大大加中，这样，就不必每个问题都重新编程，从而大大加快了运算进程。这一思想标志着自动运算的实现，标快了运算进程。这一思想标志着自动运算的实现，标志着电子计算机的成熟，已成为电子计算机设计的基志着电子计算机的成熟，已成为电子计算机设计的基本原则。本原则。诺伊曼与诺伊曼与IASvon Neumann与神经网络与神经
31、网络 1949年，年，Von Neumann在在Illinois大学四次讲座的第二次大学四次讲座的第二次讲座中，阐述了讲座中，阐述了McCulloch-Pitts正式的神经网络理论特正式的神经网络理论特点。点。1955年，他应邀去年，他应邀去Yale大学进行大学进行Silliman讲座，直讲座，直至至1956年（他死于年（他死于1957年）。他未完成的年）。他未完成的Silliman讲座讲座的手稿于的手稿于1958年作为一本书被出版，书名为年作为一本书被出版，书名为The Computer and the Brain，此书由于涉及了此书由于涉及了Von Neumann生前所做的工作和他注意到的
32、人脑与计算机生前所做的工作和他注意到的人脑与计算机的巨大差异。此外，的巨大差异。此外，1956年年Von Neumann用约简的思想用约简的思想解决了一个在神经网络中特别令人关注的问题，这就是解决了一个在神经网络中特别令人关注的问题，这就是如何用认为是不可靠的神经元来设计一个可靠的网络问如何用认为是不可靠的神经元来设计一个可靠的网络问题。题。 神经网络也经常被称为神经计算机神经网络也经常被称为神经计算机，但它但它与现代数字计算机迥然不同。与现代数字计算机迥然不同。n神经网络的信息存储与处理（计算）是合二为一神经网络的信息存储与处理（计算）是合二为一的，即信息的存储体现在神经元互连的分布上；的，
33、即信息的存储体现在神经元互连的分布上；传统的计算机存储与计算是独立的，因而在存储传统的计算机存储与计算是独立的，因而在存储与计算之间存在着瓶颈；与计算之间存在着瓶颈；n神经网络以大规模模拟计算为主；神经网络以大规模模拟计算为主；数字计算机是数字计算机是以串行离散符号处理为主；以串行离散符号处理为主；n神经网络具有很强的鲁棒性和容错性，善于联想、神经网络具有很强的鲁棒性和容错性，善于联想、概括、类比和推广，任何局部的损伤不会影响整概括、类比和推广，任何局部的损伤不会影响整体结果；体结果；不同之处主要表现为（续）：不同之处主要表现为（续）：n神经网络具有很强的自学习能力，能为新的神经网络具有很强的
34、自学习能力，能为新的输入产生合理的输出，可在学习过程之中不输入产生合理的输出，可在学习过程之中不断完善自己，具有创新特点；断完善自己，具有创新特点；n神经网络是一大规模自适应非线性动力系统，神经网络是一大规模自适应非线性动力系统，具有集体运算的能力。这与本质上是线性系具有集体运算的能力。这与本质上是线性系统的现代数字计算机迥然不同。统的现代数字计算机迥然不同。 人工神经网络是近年来的热点研究领域，人工神经网络是近年来的热点研究领域，涉及到电子科学与技术、信息与通信工程、涉及到电子科学与技术、信息与通信工程、计算机科学与技术、电气工程、控制科学与计算机科学与技术、电气工程、控制科学与技术等诸多学
35、科，其应用领域包括：建模、技术等诸多学科，其应用领域包括：建模、时间序列分析、模式识别和控制等，并在不时间序列分析、模式识别和控制等，并在不断的拓展。断的拓展。1.2 人工神经网络发展历史人工神经网络发展历史 该项研究始于二十世纪四十年代，但它的发展经历了一该项研究始于二十世纪四十年代，但它的发展经历了一条曲折的道路，至今经历了兴起、萧条和兴盛三个时期条曲折的道路，至今经历了兴起、萧条和兴盛三个时期。1.2.1 兴起阶段兴起阶段n1943年，精神病学家和神经解剖学家年，精神病学家和神经解剖学家McCulloch与数学家与数学家Pitts在数学生物物理学会刊在数学生物物理学会刊Bulletin
36、of Mathematical Biophysics上发表文章。总上发表文章。总结了生物神经元的一些基本生理特征，提出了形结了生物神经元的一些基本生理特征，提出了形式神经元的数学描述与结构，即式神经元的数学描述与结构，即MP模型模型。 McCulloch和和Pitts描述了一个逻辑微积描述了一个逻辑微积分的神经分的神经网络，这个网络由神经生理学和数学逻辑学习组成，网络，这个网络由神经生理学和数学逻辑学习组成，他们定义的神经元的正规模型认为遵循着他们定义的神经元的正规模型认为遵循着“全或无全或无”法则。法则。McCulloch和和Pitts表明：原则上，拥有了数量表明：原则上，拥有了数量众多的简
37、单单元和适当的神经元联接且运行同步的情众多的简单单元和适当的神经元联接且运行同步的情况下，所构建的网络能计算任何可计算的函数。况下，所构建的网络能计算任何可计算的函数。MP的提出兴起了的的提出兴起了的NN研究，同时产生了人工智能研究，同时产生了人工智能。兴起阶段兴起阶段n1948年，年，Wiener所著的著所著的著名的名的Cybernetics一书一书出版，出版，Wiener提出了控制、提出了控制、通信和统计信号处理的重通信和统计信号处理的重要概念，在学科之间抓住要概念，在学科之间抓住了统计方法的物理意义。了统计方法的物理意义。Norbert Wiener: “控制论之父控制论之父”兴起阶段兴
38、起阶段n1949年，生理学家年，生理学家D. O. Hebb出版了出版了The Organization of Behavior一书。该书第一次鲜明一书。该书第一次鲜明提出了改变神经元连接强度的提出了改变神经元连接强度的Hebb 规则，特别是，规则，特别是，Hebb提出脑中互连信息随着感官学习任务的不同而提出脑中互连信息随着感官学习任务的不同而不断变化，这种变化产生了神经集合。他认为学习不断变化，这种变化产生了神经集合。他认为学习过程是在突触（过程是在突触（Synapse）上发生的上发生的, 突触的联系强突触的联系强度随其前后神经元的活动而变化。根据这一假设提度随其前后神经元的活动而变化。根据
39、这一假设提出的出的学习规则学习规则为神经网络的学习算法奠定了基础。为神经网络的学习算法奠定了基础。使神经网络的研究进入了一个重要的发展阶段。使神经网络的研究进入了一个重要的发展阶段。兴起阶段兴起阶段n1952年，年，Ashby所著的所著的Design for a Brain: The Origin of Adaptive Behavior一书出版。一书出版。书中论述书中论述了自适应行为不是天生的，而是学习的结果这一基了自适应行为不是天生的，而是学习的结果这一基本概念，而且通过对动物行为（系统）的学习会有本概念，而且通过对动物行为（系统）的学习会有更好的改变，本书还强调了类似机器的生物动态和更好
40、的改变，本书还强调了类似机器的生物动态和相关的稳定性概念。相关的稳定性概念。Marvin Lee Minsky (1927 )“人工智能之父人工智能之父”和框架理论和框架理论(frame theory)的创立的创立者者.1969年获年获ACM图灵奖图灵奖;1989年获年获MIT授予的授予的Killian奖奖;1990年获日本政府所设立的年获日本政府所设立的“日本奖日本奖”；1995年获年获IEEE计算机先驱奖。计算机先驱奖。现在现在MIT Media Lab 任职。任职。minskymedia.mit.edu兴起阶段兴起阶段-Minskyn1946年入哈佛大学主修物理后改为数学。年入哈佛大学主
41、修物理后改为数学。1950年入年入普林斯顿大学攻读博士学位。普林斯顿大学攻读博士学位。n1951年提出了关于思维如何萌发并形成的一些基本年提出了关于思维如何萌发并形成的一些基本理论，并建造了一台名为理论，并建造了一台名为Snarc的学习机。的学习机。 Snarc是是世界上第一个神经网络模拟器，由世界上第一个神经网络模拟器，由40个个Agents组成，组成，其目的是学习如何穿过迷宫其目的是学习如何穿过迷宫。n1954年，年，Minsky在在Princeton大学完成了博士论文大学完成了博士论文Theory of Neural-Analog Reinforcement Systems and It
42、s Application to the Brain-Model Problem。兴起阶段兴起阶段-Minskyn1961年，年，Minsky写了一篇关于早期写了一篇关于早期AI的优秀论文，的优秀论文，题为题为Steps Toward Artificial Intelligence，论论文的后半部包含了当今神经网络的大部分内容；文的后半部包含了当今神经网络的大部分内容；n1967年，年，Minsky的的Computation: Finite and Infinite Machines一书出版，扩展了一书出版，扩展了McCulloch和和Pitts1943年的成果，并将其归入自动机和计算年的成果
43、，并将其归入自动机和计算理论中。理论中。兴起阶段兴起阶段n1954年，通信理论的先驱年，通信理论的先驱和全息照相术的发明者和全息照相术的发明者Gabor提出了非线性自适应提出了非线性自适应滤波思想。他希望与合作滤波思想。他希望与合作者一起发明一种机器，通者一起发明一种机器，通过将一个随机过程的样本过将一个随机过程的样本输入机器中，连同目标函输入机器中，连同目标函数，实现机器学习。数，实现机器学习。兴起阶段兴起阶段n1957年，年，Rosenblatt 提出感知机（提出感知机（Perceptron）。）。1958年年Rosenblatt基于对感知器的研究，提出了解决基于对感知器的研究，提出了解决
44、模式识别问题的新的监督学习方法，并证明了所谓模式识别问题的新的监督学习方法，并证明了所谓的感知器收敛定理。的感知器收敛定理。首次把神经网络的研究付诸工首次把神经网络的研究付诸工程实践程实践。这是一种学习和自组织的心理学模型，它。这是一种学习和自组织的心理学模型，它基本上符合神经生理学的知识，模型的学习环境是基本上符合神经生理学的知识，模型的学习环境是有噪声的，网络构造中存在随机连接，这是符合动有噪声的，网络构造中存在随机连接，这是符合动物学习的自然环境。这种类型的机器显然有可能应物学习的自然环境。这种类型的机器显然有可能应用于模式识别用于模式识别(Pattern Recognition)、联想
45、记忆联想记忆(Associative Memory)等方面。等方面。兴起阶段兴起阶段n1960年，年，Widrow和和Hoff引入了最小均方差引入了最小均方差（Least Mean-Square, LMS）算法，并用它系统算法，并用它系统阐明了自适应线性元件阐明了自适应线性元件(Adaptive Linear Element)。感知器和自适应线性元件之间的差异感知器和自适应线性元件之间的差异在于训练过程，最早出现的包含多适应元件的可在于训练过程，最早出现的包含多适应元件的可训练分层神经网络是多学习机结构，这种结构由训练分层神经网络是多学习机结构，这种结构由Widrow和他的学生提出（和他的学生
46、提出（1962）。）。兴起阶段兴起阶段n1965年，年，Nilsson所著的所著的Learning Machines一书出版，至今这本书仍然是关于超平面中线性一书出版，至今这本书仍然是关于超平面中线性模型的一本佳作。模型的一本佳作。n1967年，年，Amari用推测梯度方式进行自适应模式用推测梯度方式进行自适应模式分类。分类。兴起阶段兴起阶段n在感知器盛行的六十年代，人们对神经网络的研在感知器盛行的六十年代，人们对神经网络的研究过于乐观，认为只要将这种究过于乐观，认为只要将这种NN互连成一个网络，互连成一个网络，就可以解决人脑思维的模拟问题。因此，当时有就可以解决人脑思维的模拟问题。因此，当时
47、有上百家实验室纷纷投入这项研究，美国军方也投上百家实验室纷纷投入这项研究，美国军方也投入了巨额资金，当时入了巨额资金，当时NN在声纳信号识别等领域的在声纳信号识别等领域的应用取得了一定的成绩。应用取得了一定的成绩。n1969年，年，Minsky和和Papert（1969）所著的所著的Perceptron一书出版，该书从数学角度证明了一书出版，该书从数学角度证明了关于单层感知器的计算具有根本的局限性，指出感关于单层感知器的计算具有根本的局限性，指出感知机的处理能力有限，甚至连知机的处理能力有限，甚至连XOR这样的问题也不这样的问题也不能解决，并在多层感知器的总结章中，论述了单层能解决，并在多层感
48、知器的总结章中，论述了单层感知器的所有局限性在多层感知器中是不可能被全感知器的所有局限性在多层感知器中是不可能被全部克服的。部克服的。n加以当时加以当时AI的以功能模拟为目标的另一分支，出的以功能模拟为目标的另一分支，出现了转机，产生了以知识信息处理为基础的知识现了转机，产生了以知识信息处理为基础的知识工程工程(Knowledge Engineering)，给给AI从实验室走从实验室走向实用带来了希望。同时，微电子技术的进步，向实用带来了希望。同时，微电子技术的进步，以及传统的以及传统的Von Neumann型数字计算机发展，使型数字计算机发展，使整个学术界陶醉于数字计算机的成功之中，从而整个
49、学术界陶醉于数字计算机的成功之中，从而使使NN的研究进入了的研究进入了萧条时期萧条时期。萧条阶段萧条阶段 n根据根据Cowan（1990）的观点，有三个原因导致了神的观点，有三个原因导致了神经网络研究的十多年滞后。原因之一是技术上经网络研究的十多年滞后。原因之一是技术上的的没有个人计算机和工作空间站进行实验，没有个人计算机和工作空间站进行实验，如如Gabor发展了他的非线性学习滤波器，而却花费发展了他的非线性学习滤波器，而却花费了额外的六年时间建造了含有类推装置的滤波器；了额外的六年时间建造了含有类推装置的滤波器；原因之二一半是心理上的，即原因之二一半是心理上的，即Minsky和和Papert
50、对对感知器的悲观结论，一半是资金上的，即没有代感知器的悲观结论，一半是资金上的，即没有代理商资助。原因之三是神经网络和晶格旋转之间理商资助。原因之三是神经网络和晶格旋转之间的类推还未成熟，直到的类推还未成熟，直到1975年才由年才由Sherrington和和Kirkpartrick创建出旋转镜片模型。创建出旋转镜片模型。萧条阶段萧条阶段n这些因素导致了七十年代对神经网络的研究陷入了这些因素导致了七十年代对神经网络的研究陷入了低谷，此时许多研究人员放弃了除心理学和神经学低谷，此时许多研究人员放弃了除心理学和神经学之外的其他领域。之外的其他领域。n难能可贵难能可贵的是，在此期间，仍有不少学者在极端
