1、基于人工神经网络的遥感基于人工神经网络的遥感图像自动分类图像自动分类张爱竹张爱竹Z11010008Z11010008内容安排内容安排一、人工神经网络一、人工神经网络二、遥感图像自动分类二、遥感图像自动分类三、人工神经网络分类器三、人工神经网络分类器四、基于四、基于ANNANN的遥感图像自动分类试验的遥感图像自动分类试验五、总结五、总结2023-1-292/79一、人工神经网络一、人工神经网络1.1 1.1 人工神经网络概述人工神经网络概述1.2 1.2 人工神经网络发展简史人工神经网络发展简史1.3 1.3 人工神经网络基础人工神经网络基础1.4 1.4 人工神经网络结构人工神经网络结构1.5
2、 1.5 人工神经网络的学习类型人工神经网络的学习类型1.6 1.6 人工神经网络模型人工神经网络模型2023-1-293/791.1 1.1 人工神经网络概述人工神经网络概述u 人工神经网络（人工神经网络（Artificial Neural NetworksArtificial Neural Networks）：）：人工智能人工智能的一个分支；的一个分支；从微观上模拟大脑皮层的感知和思维功能从微观上模拟大脑皮层的感知和思维功能以计算机网络系统以计算机网络系统模拟生物神经网络的智能计算系统，是对人脑或自然神经网络的若干模拟生物神经网络的智能计算系统，是对人脑或自然神经网络的若干基本特性的抽象和
3、模拟；基本特性的抽象和模拟；是一个交叉性学科是一个交叉性学科涉及数学、计算机、思维科学、神经生理涉及数学、计算机、思维科学、神经生理学、心理学、模式识别等众多学科；学、心理学、模式识别等众多学科；u 智能智能：人类所特有的知识和智力：人类所特有的知识和智力,是个体认识客观事物和运用知识解是个体认识客观事物和运用知识解决问题的能力。决问题的能力。u 人工智能人工智能：研究如何使类似计算机这样的设备去模拟人类的智能研究如何使类似计算机这样的设备去模拟人类的智能。2023-1-294/79人工神经网络1.1 1.1 人工神经网络概述人工神经网络概述 两种人工智能技术的比较2023-1-295/79人
4、工神经网络项目项目 传统传统AIAI技术技术 ANNANN技术技术 基本实现基本实现方式方式 串行串行处理；由程序处理；由程序实现控制实现控制 并行并行处理；对样本数据进行多目标学习；处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控通过人工神经元之间的相互作用实现控制制 基本开发基本开发方法方法设计规则、框架、设计规则、框架、程序；用样本数据程序；用样本数据进行调试（由人根进行调试（由人根据已知的环境去构据已知的环境去构造一个模型）造一个模型）定义人工神经网络的结构原型，通过样定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成本数据，依据基本的学习算法完成学学习
5、习自动从样本数据中抽取内涵（自动从样本数据中抽取内涵（自自动适应应用环境动适应应用环境）适应领域适应领域 精确计算：符号处精确计算：符号处理，数值计算理，数值计算非精确计算：模拟处理，感觉，大规模非精确计算：模拟处理，感觉，大规模数据并行处理数据并行处理模拟对象模拟对象 左脑（左脑（逻辑逻辑思维）思维）右脑（右脑（形象形象思维）思维）1.2 1.2 人工神经网络发展简史人工神经网络发展简史u最早的研究可以追溯到最早的研究可以追溯到2020世纪世纪4040年代。年代。19431943年年，心理学家，心理学家McCullochMcCulloch和数学家和数学家PittsPitts合作提出了形式神经
6、元的数学模型。这一模型一般被合作提出了形式神经元的数学模型。这一模型一般被简称简称M-PM-P神经网络模型神经网络模型，至今仍在应用，可以说，人工神经网络的研，至今仍在应用，可以说，人工神经网络的研究时代，就由此究时代，就由此开始开始了。了。u19491949年年，心理学家，心理学家HebbHebb提出神经系统的学习规则，为神经网络的学习提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为算法奠定了基础。现在，这个规则被称为HebbHebb规则规则，许多人工神经网，许多人工神经网络的学习还遵循这一规则。络的学习还遵循这一规则。u19571957年年，F.Rosenbla
7、ttF.Rosenblatt提出提出“感知器感知器”模型模型，第一次把神经网络的研，第一次把神经网络的研究究从纯理论的探讨付诸工程实践从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次，掀起了人工神经网络研究的第一次高潮。高潮。2023-1-296/79人工神经网络1.2 1.2 人工神经网络发展简史人工神经网络发展简史u2020世纪世纪6060年代以后年代以后，数字计算机的发展达到全盛时期，人们误以为，数字计算机的发展达到全盛时期，人们误以为数数字计算机字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器感知器”的研
8、究。于是，从的研究。于是，从2020世纪世纪6060年代末期起，人工神经网络的年代末期起，人工神经网络的研究进入了研究进入了低潮低潮。u19821982年年，美国加州工学院物理学家，美国加州工学院物理学家HopfieldHopfield提出了提出了离散的神经网络模离散的神经网络模型型，标志着神经网络的研究又进入了一个，标志着神经网络的研究又进入了一个新高潮新高潮。19841984年年，HopfieldHopfield又提出又提出连续神经网络模型连续神经网络模型，开拓了计算机应用神经网络的新途径。，开拓了计算机应用神经网络的新途径。u19861986年年，RumelhartRumelhart和和
9、MeclellandMeclelland提出提出多层网络的误差反传多层网络的误差反传(back(back propagation)propagation)学习算法学习算法，简称，简称BPBP算法。算法。BPBP算法是目前最为重要、应用算法是目前最为重要、应用最广的人工神经网络算法之一。最广的人工神经网络算法之一。u自自2020世纪世纪8080年代中期以来，世界上许多国家掀起了神经网络的研究热年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点潮，可以说神经网络已成为国际上的一个研究热点。国内首届神经网国内首届神经网络大会是络大会是19901990年年1
10、212月在北京举行的。月在北京举行的。2023-1-297/79人工神经网络1.3 1.3 人工神经网络基础人工神经网络基础 生物神经元生物神经元：大脑处理信息的基本单元，由细胞体、树突、：大脑处理信息的基本单元，由细胞体、树突、轴突和突触组成。轴突和突触组成。生物神经元网络生物神经元网络：2023-1-298/79人工神经网络1.3 1.3 人工神经网络基础人工神经网络基础生物神经系统的六个基本特征：生物神经系统的六个基本特征：1 1）神经元神经元及其及其联接联接；2 2）神经元之间的联接强度决定）神经元之间的联接强度决定信号传递信号传递的强弱；的强弱；3 3）神经元之间的联接强度是可以随）
11、神经元之间的联接强度是可以随训练训练改变的；改变的；4 4）信号可以是起）信号可以是起刺激刺激作用的，也可以是起作用的，也可以是起抑制抑制作用的；作用的；5 5）一个神经元接受的信号的）一个神经元接受的信号的累积效果累积效果决定该神经元的状态；决定该神经元的状态；6 6）每个神经元可以有一个）每个神经元可以有一个“阈值阈值”。u神经元是构成神经网络的最基本单元（构件）。神经元是构成神经网络的最基本单元（构件）。u人工神经元模型应该具有生物神经元的六个基本特性。人工神经元模型应该具有生物神经元的六个基本特性。u人工神经网络是一种应用类似于大脑神经突触联接的结构人工神经网络是一种应用类似于大脑神经
12、突触联接的结构进行信息处理的数学模型。进行信息处理的数学模型。2023-1-299/79人工神经网络1.4 1.4 人工神经网络结构人工神经网络结构直观理解：直观理解：u神经网络是一个神经网络是一个并行和分布式并行和分布式的信息处理网络结构。的信息处理网络结构。u它一般由大量神经元组成：它一般由大量神经元组成：每个神经元每个神经元只有一个输出只有一个输出，可以连接到很多其他的神经元；，可以连接到很多其他的神经元；每个神经元每个神经元输入有多个输入有多个连接通道，连接通道，每个连接通道对应于一个连接权每个连接通道对应于一个连接权系数系数 。2023-1-2910/79人工神经网络2023-1-2
13、911/791.4 1.4 人工神经网络结构人工神经网络结构激活函数激活函数执行对该神经元所获得的网络输入的变换，也可执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数：以称为激励函数、活化函数：o=fo=f（netnet）激发函数的基本作用激发函数的基本作用 控制输入对输出的激活作用；控制输入对输出的激活作用；对输入、输出进行函数转换；对输入、输出进行函数转换；将可能无限域的输入变换成指定的有限范围内的输出。将可能无限域的输入变换成指定的有限范围内的输出。2023-1-2912/79人工神经网络2 w2 fo=f（net）n wnnet=XW1 w11 1、对称型、对称型Si
14、gmoidSigmoid函数函数 xxeexf11)(0,11)(xxeexf或或2023-1-2913/79激发函数2 2、非对称型、非对称型SigmoidSigmoid函数函数xexf11)(或或0,11)(xexf2023-1-2914/79激发函数3 3、对称型阶跃函数函数、对称型阶跃函数函数0,10,1)(xxxf采用阶跃作用函数的神经元，称为阈值逻辑单元。采用阶跃作用函数的神经元，称为阈值逻辑单元。2023-1-2915/79激发函数4 4、线性函数、线性函数 （1 1）线性作用函数：输出等于输入，即）线性作用函数：输出等于输入，即 xxfy)(（2 2）饱和线性作用函数）饱和线性
15、作用函数 110010)(xxxxxfy（3 3）对称饱和线性作用函数）对称饱和线性作用函数 111111)(xxxxxfy2023-1-2916/79激发函数5 5、高斯函数、高斯函数 )(22)(xexf反映出高斯函数的宽度反映出高斯函数的宽度 2023-1-2917/79激发函数1.4 1.4 人工神经网络结构人工神经网络结构 以以MPMP模型为例：模型为例：2023-1-2918/79人工神经网络人工神经网络称为作用函数或激发函数称为作用函数或激发函数1.4 1.4 人工神经网络结构人工神经网络结构2023-1-2919/79人工神经网络n 激发函数激发函数n 求和操作求和操作1()(
16、)niijijijyf xfw uijnjjiiuwx1以以MPMP模型为例：模型为例：可知当神经元可知当神经元i i的输入信号加权和超过阈值时，输出为的输入信号加权和超过阈值时，输出为“1”1”，即，即“兴奋兴奋”状态；反之输出为状态；反之输出为“0”0”，是，是“抑制抑制”状态。状态。单位阶跃函数：单位阶跃函数：0,00,1)(xxxf1.4 1.4 人工神经网络结构人工神经网络结构 典型结构：典型结构：根据神经元的根据神经元的拓扑结构拓扑结构形式不同，神经网络可分成以下两形式不同，神经网络可分成以下两大类：大类：一是层次型神经网络，二是互联型神经网络一是层次型神经网络，二是互联型神经网络
17、.（一）（一）层次型神经网络层次型神经网络 前向神经网络；前向神经网络；层内有互联的前向神经网络；层内有互联的前向神经网络；有反馈的前向神经网络有反馈的前向神经网络.（二）（二）互联型神经网络互联型神经网络2023-1-2920/79人工神经网络1 1、层次型神经网络、层次型神经网络（1 1）前向神经网络）前向神经网络 神经元分层排列，顺序连接。由输入层施神经元分层排列，顺序连接。由输入层施加输入信息，通过中间各层，加权后传递到输出层后输出。每层加输入信息，通过中间各层，加权后传递到输出层后输出。每层的神经元只接受前一层神经元的输入，各神经元之间不存在反馈的神经元只接受前一层神经元的输入，各神
18、经元之间不存在反馈。感知器(Perceptron)、BP神经网络和径向基函数(RBF-Redial Basis Function)神经网络都属于这种类型。2023-1-2921/791.4 1.4 人工神经网络人工神经网络结构结构 前向神经网络前向神经网络 ：1.1.简单单级网简单单级网 2.2.多级网多级网hh层网络层网络 3.3.循环网循环网2023-1-2922/79人工神经网络x1x2xno1o2omwnmw11w1mw2mwn1输出层输出层输入层输入层2023-1-2923/791.4 1.4 人工神经网络结构人工神经网络结构人工神经网络前向神经网络前向神经网络 ：1.1.简单单级网
19、简单单级网 2.2.多级网多级网hh层网络层网络 3.3.循环网循环网输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)2023-1-2924/791.4 1.4 人工神经网络结构人工神经网络结构人工神经网络前向神经网络前向神经网络 ：1.1.简单单级网简单单级网 2.2.多级网多级网hh层网络层网络 3.3.循环网循环网x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。2023-
20、1-2925/79层次层次划分划分 ：信号只被允许从信号只被允许从较低层流向较高层较低层流向较高层。层号确定层的高低层号确定层的高低：层号较小者，层次较低，层号较大者，：层号较小者，层次较低，层号较大者，层次较高。层次较高。输入层输入层：被记作第：被记作第0 0层。该层负责接收来自网络外部的层。该层负责接收来自网络外部的信息信息 第第j j层：第层：第j-1j-1层的直接后继层（层的直接后继层（j0j0），它直接接受第），它直接接受第j-1j-1层层的输出。的输出。输出层：输出层：它是网络的最后一层，具有该网络的最大层号，负它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。责输
21、出网络的计算结果。隐藏层：隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号。层不直接接受外界的信号，也不直接向外界发送信号。1.4 1.4 人工神经网络结构人工神经网络结构人工神经网络（2 2）层内有互联的前向神经网络）层内有互联的前向神经网络 在前向神经网络中有的在同在前向神经网络中有的在同一层中的各神经元相互有连接一层中的各神经元相互有连接,通过层内神经元的相互结合，可以通过层内神经元的相互结合，可以实现同一层内神经元之间的横向抑制或兴奋机制，这样可以限制实现同一层内神经元之间的横向抑制或兴奋机制
22、，这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。组，让每组作为一个整体来动作。2023-1-2926/792 2、互联型神经网络、互联型神经网络 在互连网络模型中，任意两个神经元之间都可能有相互连在互连网络模型中，任意两个神经元之间都可能有相互连接的关系。其中，有的神经元之间是双向的，有的是单向的接的关系。其中，有的神经元之间是双向的，有的是单向的。Hopfield网络、Boltzman机网络属于这一类。2023-1-2927/791.5 1.5 人工神经网络的学习类型人工神经网络的学习
23、类型 u人工神经网络连接权的确定通常有两种方法:u（1 1）根据具体要求，直接计算）根据具体要求，直接计算，如Hopfield网络作优化计算。u（2 2）通过学习得到的）通过学习得到的(大多数人工神经网络都采用这种方法)。u学习是改变各神经元连接权值的有效方法学习是改变各神经元连接权值的有效方法，也是体现人工，也是体现人工神经网络智能特性最主要的标志。离开了学习，神经网络神经网络智能特性最主要的标志。离开了学习，神经网络就失去了诱人的自适应、自组织能力就失去了诱人的自适应、自组织能力。2023-1-2928/79人工神经网络 一一.神经网络的学习方式神经网络的学习方式1.1.有监督（误差校正）
24、学习方式有监督（误差校正）学习方式2.2.无监督学习方式无监督学习方式二二.神经网络的学习规则神经网络的学习规则1.1.联想式学习联想式学习 HebbHebb学习规则学习规则2.2.误差纠正式学习误差纠正式学习Delta()Delta()学习规则学习规则 学习方法是人工神经网络研究中的核心问题学习方法是人工神经网络研究中的核心问题1 1、有监督学习方式、有监督学习方式特点：特点：不能保证得到全局最优解不能保证得到全局最优解要求大量训练样本，收敛速度慢要求大量训练样本，收敛速度慢对样本地表示次序变化比较敏感对样本地表示次序变化比较敏感 神经网络根据实际输出与期望输出的偏差，按照一定的准则神经网络
25、根据实际输出与期望输出的偏差，按照一定的准则调整各神经元连接的权系数，见下图。期望输出又称为导师信号，调整各神经元连接的权系数，见下图。期望输出又称为导师信号，是评价学习的标准，故这种学习方式又称为有导师学习。是评价学习的标准，故这种学习方式又称为有导师学习。一、神经网络的学习方式一、神经网络的学习方式2023-1-2929/79 无导师信号提供给网络，神经网络仅仅根据其输入调整连接无导师信号提供给网络，神经网络仅仅根据其输入调整连接权系数和阈值，此时，网络的学习评价标准隐含于内部。其结构权系数和阈值，此时，网络的学习评价标准隐含于内部。其结构见下图。这种学习方式主要完成聚类操作。见下图。这种
26、学习方式主要完成聚类操作。2 2、无监督学习方式、无监督学习方式一、神经网络的学习方式一、神经网络的学习方式2023-1-2930/79nDonallDonall HebbHebb根据生理学中的条件反射机理，于根据生理学中的条件反射机理，于19491949年提出的年提出的神经元连接强度变化的规则：神经元连接强度变化的规则：q如果两个神经元同时兴奋如果两个神经元同时兴奋(即同时被激活即同时被激活)，则它们之间的，则它们之间的突触连接加强。突触连接加强。q 为学习速率，为学习速率，o oi i、o oj j为神经元为神经元 i i 和和 j j 的输出。的输出。1 1、联想式学习、联想式学习 He
27、bbHebb学习规则学习规则ijijwooHebbHebb学习规则是人工神经网络学习的基本规则，几乎所有神学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作经网络的学习规则都可以看作HebbHebb学习规则的变形。学习规则的变形。二、神经网络的学习规则二、神经网络的学习规则2023-1-2931/792 2、纠错式学习、纠错式学习 Delta()Delta()学习规则学习规则 二、神经网络的学习规则二、神经网络的学习规则 首先我们考虑一个简单的情况：设某神经网络的输出层首先我们考虑一个简单的情况：设某神经网络的输出层中只有一个神经元中只有一个神经元i i，给该神经网络加
28、上输入，这样就产生了，给该神经网络加上输入，这样就产生了输出输出y yi i(n n)，称该输出为，称该输出为实际输出实际输出。对于所加上的输入，我们期望该神经网络的输出为对于所加上的输入，我们期望该神经网络的输出为d d(n n),),称为期望输出或目标输出（样本对里面包含输入和期望输称为期望输出或目标输出（样本对里面包含输入和期望输出）。实际输出与期望输出之间存在着误差，用出）。实际输出与期望输出之间存在着误差，用e e(n n)表示：表示：()=()-()ie nd n y n2023-1-2932/79 现在要调整权值，是误差信号现在要调整权值，是误差信号e e(n n)减小到一个范围
29、。减小到一个范围。为此，可设定代价函数或性能指数为此，可设定代价函数或性能指数E E(n n)：21()=()2E ne n 反复调整突触权值使代价函数达到最小或者使系统达反复调整突触权值使代价函数达到最小或者使系统达到一个稳定状态（及突触权值稳定不变），就完成了该学到一个稳定状态（及突触权值稳定不变），就完成了该学习过程习过程。该学习过程称为该学习过程称为纠错学习纠错学习，或，或DeltaDelta学习规则学习规则。w wijij 表示神经元表示神经元x xj j到到x xj j学的突触权值，在学习步骤为学的突触权值，在学习步骤为n n时对突触权值的调整为：时对突触权值的调整为：()=()(
30、)ijjw ne n x n学习速学习速率参数率参数则则(1)=()+()ijijijw nw nw n2023-1-2933/791.6 1.6 人工神经网络模型人工神经网络模型 典型的神经网络模型：典型的神经网络模型：感知器；线性神经网络；BP网络；径向基函数网络；竞争学习网络；反馈神经网络等。2023-1-2934/79人工神经网络感知器模型感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究型，它把神经网络的研究从纯理论探讨
31、引向了从工程上的实现从纯理论探讨引向了从工程上的实现。Rosenblatt提出的感知器模型感知器模型是一个只有单层计算单元的前向神是一个只有单层计算单元的前向神经网络，称为单层感知器。经网络，称为单层感知器。感知器特别适合于简单的模式分类问题，也可用于基于模式分类感知器特别适合于简单的模式分类问题，也可用于基于模式分类的学习控制和多模态控制中的学习控制和多模态控制中。1.1.感知器神经网络感知器神经网络2023-1-2935/79感知器神经网络的学习规则：学习规则：函数函数1earnp是在感知器神经网络学习过程中计算网络权值和阈值修正量最基本的规则函数。p为输入矢量，学习误差为输入矢量，学习误
32、差e为目标矢为目标矢量量t和网络实际输出矢量和网络实际输出矢量a之间的差值之间的差值采用采用阈值函数阈值函数作为神经元的作为神经元的传递函数传递函数是感知器神经元的典型特征是感知器神经元的典型特征2023-1-2936/791.感知器神经网络感知器神经网络的训练：感知器神经网络的训练：感知器的训练主要是反复对感知器神经网络进行仿真和学习，感知器的训练主要是反复对感知器神经网络进行仿真和学习，最终得到最优的网络阀值和权值最终得到最优的网络阀值和权值。1）确定我们所解决的问题的确定我们所解决的问题的输入向量输入向量P、目标向量、目标向量t，并确定，并确定 各向量的维数，以及网络结构大小、神经元数目
33、。各向量的维数，以及网络结构大小、神经元数目。2）初始化：权值向量）初始化：权值向量w和阀值向量和阀值向量b分别赋予分别赋予1,+1之间的之间的 随机值，并且给出训练的最大次数。随机值，并且给出训练的最大次数。3）根据输入向量）根据输入向量P、最新权值向量、最新权值向量w和阀值向量和阀值向量b，计算网络，计算网络 输出向量输出向量a。4）检查感知器输出向量与目标向量是否一致，或者是否达到）检查感知器输出向量与目标向量是否一致，或者是否达到 了最大的训练次数，如果是则结束训练，否则转入（了最大的训练次数，如果是则结束训练，否则转入（5）。）。5）根据感知器学习规则调查权向量，并返回）根据感知器学
34、习规则调查权向量，并返回3）。）。2023-1-2937/791.感知器神经网络流程：流程：感知器神经网络应用举例感知器神经网络应用举例 两种蠓虫Af和Apf已由生物学家W.L.Grogan与w.w.Wirth(1981)根据它们触角长度和翼长中以区分。见下表中9Af蠓和6只Apf蠓的数据。根据给出的触角长度和翼长可识别出一只标本是Af还是Apf。1给定一只Af或者Apf族的蠓，你如何正确地区分它属于哪一族？2将你的方法用于触角长和翼中分别为（1.24,1.80）、（1.28,1.84）、(1.40,2.04)的三个标本。Af触重长1.241.361.381.3781.381.401.481.
35、541.56翼 长1.721.741.641.821.901.701.701.822.08Apf触角长1.141.181.201.261.281.30翼 长1.781.961.862.002.001.962023-1-2938/791.感知器神经网络输入向量为：p=1.24 1.36 1.38 1.378 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.30;1.72 1.74 1.64 1.82 1.90 1.70 1.70 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96 目标向量为：t=1 1 1 1
36、1 1 1 1 1 0 0 0 0 0 0图形显示，目标值1对应的用“+”、目标值0对应的用“o”来表示：plotpv(p，t)2023-1-2939/791.感知器神经网络1.为解决该问题，利用函数函数newp构造输入量在0，2.5之间的感知器神经网络模型：net=newp(0 2.5；0 2.5，1)2.初始化网络：net=init(net)3.利用函数adapt调整网络的权值和阀值，直到误差为0时训练结束：net,y,e=adapt(net,p,t)训练结束后可得如左图的分类方式，可见感知器网络将样本正确地分成两类。0.911.11.21.31.41.51.61.71.81.41.51.
37、61.71.81.922.12.22.3Vectors to be ClassifiedP(1)P(2)Neural Network Toolbox2023-1-2940/791.感知器神经网络感知器网络训练结束后，可以利用函数sim进行仿真，解决实际的分类问题：p1=1.24;1.80 a1=sim(net,p1)p2=1.28;1.84 a2=sim(net,p2)p3=1.40;2.04 a3=sim(net,p3)网络仿真结果为：a1=0 a2=0 a3=0 2023-1-2941/791.感知器神经网络线性神经网络的线性神经网络的主要用途主要用途是线性逼近一个函数表达式，具有联是线性
38、逼近一个函数表达式，具有联想功能。另外，它还适用于信号处理滤波、预测、模式识别和想功能。另外，它还适用于信号处理滤波、预测、模式识别和控制等方面。控制等方面。R维输入的单层(包含S个神经元)线性神经网络模型线性神经网络权值和阐值的学习规则学习规则采用的是基于最小二乘原理的Widrow-Hoff学习算法。2.线性神经网络线性神经网络：2023-1-2942/79主要用于函数逼近、模式识别、分类以及数据压缩等方面。具有单隐层的BP神经网络模型输入维数为2，隐层含有4个神经元3.BP3.BP神经网络神经网络2023-1-2943/79模型中采用高斯函数模型中采用高斯函数radbas作为径向基神经元的
39、作为径向基神经元的传递传递函数函数；学习算法学习算法常用的有常用的有两种：两种：一种是无导师学习，一种是无导师学习，另一种便是有导师学习。另一种便是有导师学习。4.径向基函数网络径向基函数网络2023-1-2944/795.竞争学习网络竞争学习网络 Kohoneo学习规则学习规则模块c表示竞争传递传递函数函数，其输出矢量由竞争层各神经元的输出组成，除在竞争中获胜的神经元外，其余神经元的输出都为零。竞争传递函数输入矢量n中的最大元素所对应的神经元是竞争中的获胜者，其输出固定为12023-1-2945/79主要用于信号检测和预测等方面,网络在训练时采用基于误差反向传播算法的学习函数学习函数，如tr
40、ainlm、trainbfg、trainrp、traingd等。模块D表示时延环节6.E1man反馈网络反馈网络2023-1-2946/79主要用于联想记忆、聚类和优化计算等方面，神经元传递函传递函数数为对称饱和线性函数satlins。模块D表示时延环节7.HopfieId反馈网络反馈网络2023-1-2947/79内容安排内容安排一、人工神经网络一、人工神经网络二、遥感图像自动分类二、遥感图像自动分类三、人工神经网络分类器三、人工神经网络分类器四、基于四、基于ANNANN的遥感图像自动分类试验的遥感图像自动分类试验五、总结五、总结2023-1-2948/792.1 2.1 遥感图像分类遥感图
41、像分类 图像分类：图像分类：是通过模式识别理论，利用计算机将遥感图像是通过模式识别理论，利用计算机将遥感图像自动分成若干地物类别的方法。自动分成若干地物类别的方法。如土地利用/覆被分类、森林类型分类、植被类型分类、岩性分类、数据信息（遥感数据地物信息）2023-1-2949/79 举例Landsat TM 真彩色合成影像 分类后的影像2023-1-2950/79 基本原理基本原理：在遥感图像上，同类物体在同样条件下，应具有相同的在遥感图像上，同类物体在同样条件下，应具有相同的光谱信息特光谱信息特征征，从而群集在同一光谱空间区域中；不同类物体因其光谱信息特征，从而群集在同一光谱空间区域中；不同类
42、物体因其光谱信息特征不不同同，而群集在不同的光谱空间区域内。，而群集在不同的光谱空间区域内。2023-1-2951/792.2 2.2 遥感图像自动分类遥感图像自动分类方法方法 传统的计算机自动分类：传统的计算机自动分类：监督分类 非监督分类 新的自动分类方法：新的自动分类方法：人工神经网络方法 决策树分类法 专家系统分类法 2023-1-2952/791.1.监督分类监督分类 选择具有代表性的典型实验区或训练区，用训练区中已知地面各类地物样本的光谱特性来“训练训练”计算机，获得识别各类地物的判别函数或模式，并以此对未知地区的像元进行分类处理，分别归入到已知的类别中。需要事先确定训练场地和选择
43、训练样本，训练样本需要具需要事先确定训练场地和选择训练样本，训练样本需要具有一定的代表性；有一定的代表性；考虑到各种地物光谱辐射的复杂性和干扰因素的多样性，考虑到各种地物光谱辐射的复杂性和干扰因素的多样性，需要多考虑一些样本；需要多考虑一些样本；在某一地区建立起来的判别式只能适用于同一地区或地学在某一地区建立起来的判别式只能适用于同一地区或地学条件相似的地区。条件相似的地区。2023-1-2953/79A A、分类训练区的选择、分类训练区的选择 训练区：训练区：已知地表覆被类型的代表样区已知地表覆被类型的代表样区 用于描述主要特征类型的光谱属性用于描述主要特征类型的光谱属性 代表性、完整性代表
44、性、完整性 分布：多个样区分布：多个样区 训练阶段的质量决定着分类阶段的成功与否，训练阶段的质量决定着分类阶段的成功与否，也决定着从分类中所获也决定着从分类中所获取的信息的价值取的信息的价值 用于图像分类的训练区的统计结果，一定要用于图像分类的训练区的统计结果，一定要充分反映每种信息类型中充分反映每种信息类型中光谱类别的所有组成光谱类别的所有组成2023-1-2954/79B B、确定像元聚集的判别规则、确定像元聚集的判别规则2023-1-2955/79（1）平行管道分类（平行六面体）平行管道分类（平行六面体）最简单的方法最简单的方法仅仅需要规定每个特征的仅仅需要规定每个特征的DN范围一些像元
45、可能未范围一些像元可能未分类或重复分类分类或重复分类2023-1-2956/79（2）最小距离分类）最小距离分类通过训练样本确定类别中心某个像元距哪类距离最小，则判归为该类通过训练样本确定类别中心某个像元距哪类距离最小，则判归为该类2023-1-2957/79（3）最大似然分类）最大似然分类建立在贝叶斯准则基础上分类错误概率最小的一种非线性分类计算建立在贝叶斯准则基础上分类错误概率最小的一种非线性分类计算每个像元属于每一类的概率，找出概率最大者，将该像元归为概率每个像元属于每一类的概率，找出概率最大者，将该像元归为概率最大的一类最大的一类.2023-1-2958/792.2.非监督分类非监督分
46、类 在没有先验类别没有先验类别(训练场地训练场地)作为样本的条件下，即事先不知道类别特征，主要根据像元间相似度的大小进行归类合并（将相似度大的像元归为一类）在在非监督分类中，先确定光谱可分的类别（光谱类），非监督分类中，先确定光谱可分的类别（光谱类），然后定义它们的信息然后定义它们的信息类类.2023-1-2959/79非监督分类举例非监督分类举例聚类聚类解译解译2023-1-2960/79内容安排内容安排一、人工神经网络一、人工神经网络二、遥感图像自动分类二、遥感图像自动分类三、人工神经网络分类器三、人工神经网络分类器四、基于四、基于ANNANN的遥感图像自动分类试验的遥感图像自动分类试验五
47、、总结五、总结2023-1-2961/793.1 3.1 人工神经网络分类人工神经网络分类2023-1-2962/793.2 3.2 多种分类器多种分类器2023-1-2963/793.2 3.2 多种分类器多种分类器2023-1-2964/79内容安排内容安排一、人工神经网络一、人工神经网络二、遥感图像自动分类二、遥感图像自动分类三、人工神经网络分类器三、人工神经网络分类器四、基于四、基于ANNANN的遥感图像自动分类试验的遥感图像自动分类试验五、总结五、总结2023-1-2965/794.1 ANN4.1 ANN用于遥感图像分类用于遥感图像分类 在遥感图像分类处理中在遥感图像分类处理中应用
48、的人工神经网络模型应用的人工神经网络模型主要有：主要有：半线型前馈网络、模糊神经网络、径向基函数神经网络、半线型前馈网络、模糊神经网络、径向基函数神经网络、Kohonen自组织神经网络、三维自组织神经网络、三维Hopfield网络等。网络等。2023-1-2966/79举例：举例：1.基于半线型前馈网络分类基于半线型前馈网络分类2.基于基于BP神经网络分类神经网络分类4.24.2基于半线型前馈网络分类基于半线型前馈网络分类2023-1-2967/794.24.2基于半线型前馈网络分类基于半线型前馈网络分类2023-1-2968/79结果图结果图2023-1-2969/79结果图结果图2023-
49、1-2970/794.24.2基于基于BPBP神经网络分类神经网络分类 BP 神经网络采用误差反传学习算法误差反传学习算法，它使用梯度搜索技梯度搜索技术术，实现网络的实际输出与期望输出的均方差最小化实现网络的实际输出与期望输出的均方差最小化。在这种网络中，学习过程学习过程由正向传播和反向传播组成。在正向正向过程中，输入信号从输入层输入层经隐层单元逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层输出层不能得到期望的输出，则转向反向反向传播，将输出的误差按原来的连接通路返回。通过修改各层神经元的权值修改各层神经元的权值，使得误差信号最小。得到合适的网络连接值后，便可
50、对新样本进行非线性映像。2023-1-2971/794.24.2基于基于BPBP神经网络分类神经网络分类2023-1-2972/79 分类后图像原图像4.24.2基于基于BPBP神经网络分类神经网络分类2023-1-2973/794.24.2基于基于BPBP神经网络分类神经网络分类BP 算法的限制与不足：算法的限制与不足：虽然反向传播算法得到广泛应用，但它也存在自身的限制虽然反向传播算法得到广泛应用，但它也存在自身的限制与不足，主要表现：与不足，主要表现：（1）训练时间长；）训练时间长；（2）网络出现麻痹现象，从而使得对网络权值的调节过程）网络出现麻痹现象，从而使得对网络权值的调节过程几乎停顿
