1、6.16.1概述概述v所谓人工神经网络所谓人工神经网络(Artificial Neural Network(Artificial Neural Network，简称为，简称为ANN)ANN)，是在模，是在模拟人脑神经组织的基础上发展起来的全新的计算系统，它是由大量计算拟人脑神经组织的基础上发展起来的全新的计算系统，它是由大量计算单元通过丰富联结构成的复杂的网络。在一定程度上反映了人脑功能的单元通过丰富联结构成的复杂的网络。在一定程度上反映了人脑功能的若干基本特性，是一种更接近于人的认知过程的计算模型。若干基本特性，是一种更接近于人的认知过程的计算模型。v人工神经网络模型对于语音信号处理这类问题
2、特别有意义。传统的语音人工神经网络模型对于语音信号处理这类问题特别有意义。传统的语音信号处理系统都只是一种符号化系统，是对语音信号进行符号（序列）信号处理系统都只是一种符号化系统，是对语音信号进行符号（序列）串行处理，与人的感知过程有很大的差别。与此不同的是，人工神经网串行处理，与人的感知过程有很大的差别。与此不同的是，人工神经网络是由大量简单处理单元（称之为神经元或节点）广泛地相互连接而组络是由大量简单处理单元（称之为神经元或节点）广泛地相互连接而组成的一个并行处理网络系统。虽然每个神经元的结构和功能十分简单，成的一个并行处理网络系统。虽然每个神经元的结构和功能十分简单，但大量神经元构成的网
3、络系统对知识的存储方式是分布式的，这种分布但大量神经元构成的网络系统对知识的存储方式是分布式的，这种分布式并行处理的特性，使得神经网络具有很强的自组织和自学习能力以及式并行处理的特性，使得神经网络具有很强的自组织和自学习能力以及很高的容错力和顽健性。很高的容错力和顽健性。6.2 6.2 人工神经网络简介人工神经网络简介v长期以来，人们一直企盼着通过对人类神经系统的研究，能长期以来，人们一直企盼着通过对人类神经系统的研究，能够发明一种仿效人脑信息处理模式的智能型计算机。构造人够发明一种仿效人脑信息处理模式的智能型计算机。构造人工神经网络就是希望通过类似于人类神经元的模型，在信号工神经网络就是希望
4、通过类似于人类神经元的模型，在信号处理上使计算机具有近似人类的智能。处理上使计算机具有近似人类的智能。v人工神经网络是由大量简单处理单元，即神经元互相联接而人工神经网络是由大量简单处理单元，即神经元互相联接而构成的独具特色的信息处理系统。这种系统是可以训练的，构成的独具特色的信息处理系统。这种系统是可以训练的，它可以积累经验而不断改善自身的性能。同时，由于高度的它可以积累经验而不断改善自身的性能。同时，由于高度的并行性，所以它们可以进行快速判别并具有容错性。这些特并行性，所以它们可以进行快速判别并具有容错性。这些特点使它特别适用于用来进行语音信号处理。点使它特别适用于用来进行语音信号处理。v人
5、工神经网络可采用物理可实现的器件或利用现有的计算机人工神经网络可采用物理可实现的器件或利用现有的计算机来模拟生物神经网络的某些结构与功能。构成人工神经网络来模拟生物神经网络的某些结构与功能。构成人工神经网络的三个基本要素是：的三个基本要素是：（1 1）神经元，即人工神经网络的基本处理单元，在网络中）神经元，即人工神经网络的基本处理单元，在网络中称为节点或网点。称为节点或网点。（2 2）网络拓朴，即网络的结构以及神经元彼此联接的方式。）网络拓朴，即网络的结构以及神经元彼此联接的方式。根据联接方式的不同，网络可以分为反馈（根据联接方式的不同，网络可以分为反馈（RecurrentRecurrent）
6、型）型网（又称循环网）以及非反馈型网。网（又称循环网）以及非反馈型网。（3 3）网络的训练（学习）算法。训练算法是指一些决定联）网络的训练（学习）算法。训练算法是指一些决定联接各神经元的初始权值和阈值以及如何随着训练模式的加入接各神经元的初始权值和阈值以及如何随着训练模式的加入而调整这些权值和阈值的方法。而调整这些权值和阈值的方法。6.3 6.3 人工神经网络的构成人工神经网络的构成v人工神经网络由神经元、网络拓扑、学习算法（即权重迭代人工神经网络由神经元、网络拓扑、学习算法（即权重迭代更新方式）三者构成。它在结构上与目前广泛使用的更新方式）三者构成。它在结构上与目前广泛使用的Von Von
7、NeumannNeumann机不同，组成网络的大量神经元集体的、并行的活机不同，组成网络的大量神经元集体的、并行的活动可得到预期的处理结果，且运算速度快。同时，人工神经动可得到预期的处理结果，且运算速度快。同时，人工神经网络具有非常强的学习功能，神经元之间的联接权及网络的网络具有非常强的学习功能，神经元之间的联接权及网络的结构可通过学习获得。结构可通过学习获得。神经元神经元v人工神经网络模型是模仿人脑构成的，其构成的基本单元为人工神经网络模型是模仿人脑构成的，其构成的基本单元为人造神经元，又称节点或网点。其作用是把若干个输入加权人造神经元，又称节点或网点。其作用是把若干个输入加权求和，并将这个
8、加权和非线性处理后输出。求和，并将这个加权和非线性处理后输出。x1x2xNfu.yw1wNw2 神经元的学习算法神经元的学习算法 v几乎所有神经网络学习算法都可以看作是几乎所有神经网络学习算法都可以看作是HebbHebb学习规则的变学习规则的变形。形。HebbHebb学习规则的基本思想是：学习规则的基本思想是：如果神经元如果神经元 接收来自另一神经元接收来自另一神经元 的输出，则当这两个神的输出，则当这两个神经元同时兴奋时，从经元同时兴奋时，从 到到 的权值的权值 就得到加强。就得到加强。具体到前述的神经元模型，可以将具体到前述的神经元模型，可以将HebbHebb规则表现为如下的算规则表现为如
9、下的算法形式：法形式：公式中公式中 是对第是对第i i个权值的修正值，个权值的修正值，是控制学习速度的系是控制学习速度的系数。数。iujujuiuijwiiwyxiw 网络拓扑网络拓扑 v网络拓扑是指网络的结构以及神经元之间的联接方式。根据网络拓扑是指网络的结构以及神经元之间的联接方式。根据联接方式的不同，可分为反馈型人工神经网络和非反馈型人联接方式的不同，可分为反馈型人工神经网络和非反馈型人工神经网络。前者神经元之间存在着反馈环路，后者神经元工神经网络。前者神经元之间存在着反馈环路，后者神经元之间则不存在着反馈环路。对于非反馈型人工神经网络，若之间则不存在着反馈环路。对于非反馈型人工神经网络
10、，若结构是分层的，且每一层神经元只与上一层神经元相联，则结构是分层的，且每一层神经元只与上一层神经元相联，则该网络称为前馈型人工神经网络。该网络称为前馈型人工神经网络。网络的学习算法网络的学习算法 v网络的学习算法是以满足网络所需的性能为目标，决定联接网络的学习算法是以满足网络所需的性能为目标，决定联接各神经元的初始权值及在训练中调整权值的方法。学习方法各神经元的初始权值及在训练中调整权值的方法。学习方法可分为监督学习与非监督学习。前者为有导师学习，训练时，可分为监督学习与非监督学习。前者为有导师学习，训练时，同时向网络提供输入模式及输出的样板模式（导师），在不同时向网络提供输入模式及输出的样
11、板模式（导师），在不断输入不同训练模式的同时调整权值，从而使输出模式尽量断输入不同训练模式的同时调整权值，从而使输出模式尽量接近样板模式；后者是无导师学习，它是一种自动聚类过程，接近样板模式；后者是无导师学习，它是一种自动聚类过程，通过输入训练模式的加入，不断调整权值以使输出能够反映通过输入训练模式的加入，不断调整权值以使输出能够反映输入训练模式的分布特点。输入训练模式的分布特点。6.46.4几种用于模式识别的神经网络模型及其主要算法几种用于模式识别的神经网络模型及其主要算法v由于人在识别速度及判别能力方面常超过一般典型的计算机由于人在识别速度及判别能力方面常超过一般典型的计算机所作的识别，故
12、人们有兴趣研讨与神经网络有关的识别机理，所作的识别，故人们有兴趣研讨与神经网络有关的识别机理，希望能有所借鉴或启发。诸如利用简单网络的高度并行处理，希望能有所借鉴或启发。诸如利用简单网络的高度并行处理，多层处理法等。从模式识别学的角度来看，现在所讨论的方多层处理法等。从模式识别学的角度来看，现在所讨论的方法属于借鉴于神经网络识别机理所拟定的模式识别方法，它法属于借鉴于神经网络识别机理所拟定的模式识别方法，它与统计识别法联系密切，但在方法、思路、识别灵活性及识与统计识别法联系密切，但在方法、思路、识别灵活性及识别能力、速度等方面均有其特点。别能力、速度等方面均有其特点。单层感知器单层感知器 v单
13、层感知器（单层感知器（Single Layer PereceptronSingle Layer Pereceptron，简称为，简称为SLPSLP）可可作为分类器。单输出的作为分类器。单输出的SLPSLP，其结构就是如图，其结构就是如图6-16-1所示的人工所示的人工神经元。输入的神经元。输入的N N个元可为连续的或二进制的标量信号。个元可为连续的或二进制的标量信号。表示一个维空间的超平面。图表示一个维空间的超平面。图6-36-3表示可由这个表示可由这个超平面对超平面对A A、B B类进行分类。类进行分类。SLPSLP结构的前部分为一线性加权结构的前部分为一线性加权装置装置(权为权为 ，附有阀
14、值，附有阀值 )，其输出经一个性能函数为，其输出经一个性能函数为 的硬限幅非线性装置，然后输出到判决器。按当其输入为的硬限幅非线性装置，然后输出到判决器。按当其输入为+1+1时判属时判属A A类；当其输入为类；当其输入为-1-1时判属时判属B B类的准则来判类。类的准则来判类。0)()(1txtwNiiiiwfv两类分类处理两类分类处理 双层感知器双层感知器 v实际上实用的最简单的实际上实用的最简单的M M类分类的感知器（类分类的感知器（PereceptronPereceptron）也）也应该是一种双层神经网络模型。它是一个两层前馈神经网络，应该是一种双层神经网络模型。它是一个两层前馈神经网络
15、，一层为输入层，另一层具有计算单元，可以通过监督学习建一层为输入层，另一层具有计算单元，可以通过监督学习建立模式判别的能力，如图立模式判别的能力，如图6-46-4所示。所示。x2xNx1yMy1y2v学习的目标是通过改变权值使神经网络由给定的输入得到给定的输出。学习的目标是通过改变权值使神经网络由给定的输入得到给定的输出。作为分类器，可以用已知类别的模式向量（向量维数等于输入节点数）作为分类器，可以用已知类别的模式向量（向量维数等于输入节点数）作为训练集，当输入为属于第作为训练集，当输入为属于第j j类的特征向量类的特征向量 时，应使对应于该类的时，应使对应于该类的输出神经元的输出为输出神经元
16、的输出为1 1，而其它输出神经元的输出则为，而其它输出神经元的输出则为0 0（或（或1 1）。应）。应使对应于该类的输出神经元的输出为使对应于该类的输出神经元的输出为1 1，而其它输出神经元的输出则为，而其它输出神经元的输出则为0 0（或（或1 1）。设理想的输出为：）。设理想的输出为：实际的输出为：实际的输出为：为了使实际的输出逼近理想输出，可以反复依次输入训练集中的输入向为了使实际的输出逼近理想输出，可以反复依次输入训练集中的输入向量量 ，然后计算出实际的输出，然后计算出实际的输出 ，再对权值，再对权值 作如下的修改作如下的修改 双层感知器的学习过程与求取线性判别函数的过程是等价的，它只能
17、用双层感知器的学习过程与求取线性判别函数的过程是等价的，它只能用于解决线性可分问题。它的特点是学习过程收敛很快，且与初始值无关。于解决线性可分问题。它的特点是学习过程收敛很快，且与初始值无关。XTmdddD),(2112(,.,)TmYy yyXYijw)()()()()1(txtytdtwtwijjijij 多层感知器多层感知器v当类别不能用一超平面完善分割时，需用更复杂结构的感知当类别不能用一超平面完善分割时，需用更复杂结构的感知器，即所谓的器，即所谓的“多层感知器多层感知器”。（。（Multi-Layer PerceptronMulti-Layer Perceptron，简称为简称为ML
18、PMLP）如果感知器的活化函数具有非线性，则这种网）如果感知器的活化函数具有非线性，则这种网络具有较强的分类能力。多层感知器网是由若干层感知器以络具有较强的分类能力。多层感知器网是由若干层感知器以及可修正的权连接而构成的多层前馈网络。及可修正的权连接而构成的多层前馈网络。v多层感知器的结构由一个输入层，一个以上隐藏层和一个输多层感知器的结构由一个输入层，一个以上隐藏层和一个输出层组成。所有的连接均为相邻层之间的节点的连接，同层出层组成。所有的连接均为相邻层之间的节点的连接，同层之间不连接。输入层不作任何运算，它只是将每个输入量分之间不连接。输入层不作任何运算，它只是将每个输入量分配到各个输入节
19、点。图配到各个输入节点。图6-5 6-5 是一个三层是一个三层MLPMLP神经网络。神经网络。x2xNy1yMv对于多层感知器，对于多层感知器，WerbosWerbos曾于曾于19741974年提出，并且由年提出，并且由RumelhartRumelhart等人的工作而得到完善和推广的一种学习算法，等人的工作而得到完善和推广的一种学习算法，即著名的即著名的BPBP（Back PropagationBack Propagation）算法，它是一种修正连接）算法，它是一种修正连接权的算法。所以权的算法。所以MLPMLP的训练大都采用这种反向传播算法。的训练大都采用这种反向传播算法。训练分两步，第一步
20、是计算训练分两步，第一步是计算MLPMLP的输出值；第二步是用的输出值；第二步是用BPBP算算法更新网络的连接权值。具体步骤如下法更新网络的连接权值。具体步骤如下(假定有假定有N N个输入节点，个输入节点，M M个输出节点。个输出节点。)：第第l l步：设置初始权值及阈值，即设所有的权值及节点的阈值为一个小步：设置初始权值及阈值，即设所有的权值及节点的阈值为一个小的随机数。的随机数。第第2 2步：给定新的输入值及相应的理想输出信号。步：给定新的输入值及相应的理想输出信号。第第3 3步：计算当输入通过网络时的实际输出值。步：计算当输入通过网络时的实际输出值。第第4 4步：修正每个权值和阀值。从输
21、出节点开始逐步向前递推，直到第步：修正每个权值和阀值。从输出节点开始逐步向前递推，直到第 一层。一层。第第5 5步：转移到第步：转移到第2 2步重复进行，直到各步重复进行，直到各 ，稳定为止。稳定为止。ijj 径向基函数神经网络的分类特性径向基函数神经网络的分类特性v为了在取得较好的分类效果的同时，又能降低网络的训练和为了在取得较好的分类效果的同时，又能降低网络的训练和识别时间，除了上面介绍的采用识别时间，除了上面介绍的采用SigmoidSigmoid函数的前馈网络外，函数的前馈网络外，还有一种较常用的前馈神经网络，称为径向基函数（还有一种较常用的前馈神经网络，称为径向基函数（Radial R
22、adial Basis FunctionBasis Function，简称为，简称为RBFRBF）神经网络作分类器。）神经网络作分类器。v所谓径向基函数是指一种有中心的辐射状函数，例如高斯核所谓径向基函数是指一种有中心的辐射状函数，例如高斯核函数、二次型函数等。函数、二次型函数等。RBFRBF神经网络就是利用神经网络就是利用RBFRBF作为特性函作为特性函数构成的前馈网络。数构成的前馈网络。RBFRBF神经网络的特点是只有一个隐藏层，神经网络的特点是只有一个隐藏层，隐藏层单元采用径向基函数作为其输出特性，所以隐藏层单元采用径向基函数作为其输出特性，所以RBFRBF神经神经网络是一个三层前馈网络
23、。网络是一个三层前馈网络。vRBFRBF神经网络结构示意图神经网络结构示意图 v自组织特征映射模型自组织特征映射模型 vKohonenKohonen提出的自组织特征映射（提出的自组织特征映射（Self Organization Self Organization Feature MappingFeature Mapping，简称为，简称为SOFMSOFM）模型是基于脑科学研究中模型是基于脑科学研究中得到的认识提出的。得到的认识提出的。v模仿人脑的这种功能，构造一种神经网络，它能将多维空间模仿人脑的这种功能，构造一种神经网络，它能将多维空间的输入矢量集映射到一个称为特征图的二维阵列，而能保持的输
24、入矢量集映射到一个称为特征图的二维阵列，而能保持与原训练矢量集近似相同的拓扑结构，这种神经网络称为与原训练矢量集近似相同的拓扑结构，这种神经网络称为SOFMSOFM模型，其结构如图模型，其结构如图6-76-7所示。它的输出层是一个二维网所示。它的输出层是一个二维网络，其节点即从输入层的各节点接受刺激，同时也从当前层络，其节点即从输入层的各节点接受刺激，同时也从当前层中其它节点接受输入。中其它节点接受输入。v v自组织神经网络结构示意图自组织神经网络结构示意图 vSOFMSOFM模型的训练有多种算法。在训练过程中，它无需规定所要求的输出模型的训练有多种算法。在训练过程中，它无需规定所要求的输出（
25、即导师），只要足够的输入矢量加入以后，输入层和输出层之间的连（即导师），只要足够的输入矢量加入以后，输入层和输出层之间的连接会自动形成聚类中心。实际应用中，常常采用一种简化算法。这种简接会自动形成聚类中心。实际应用中，常常采用一种简化算法。这种简化算法的推导是从神经网络的概念入手的，但最终做法实际是矢量量化化算法的推导是从神经网络的概念入手的，但最终做法实际是矢量量化码书生成算法中随机梯度法的变形。其基本步骤如下：码书生成算法中随机梯度法的变形。其基本步骤如下：1 1）采用随机扰动法产生一组初始权值：）采用随机扰动法产生一组初始权值：2 2）每次输入一个）每次输入一个N N维的训练矢量，采用欧
26、几里德距离测度，计算各输入维的训练矢量，采用欧几里德距离测度，计算各输入节点到每一输出节点节点到每一输出节点j j的距离。的距离。3 3）选择最佳匹配的输出节点。既选出最小）选择最佳匹配的输出节点。既选出最小 对应的输出节点对应的输出节点 。4 4）调整）调整 及相邻近节点的权值。及相邻近节点的权值。5 5）如果已达到预定的迭代次数，停止迭代，否则转向）如果已达到预定的迭代次数，停止迭代，否则转向2 2）继续迭代，或）继续迭代，或像矢量量化那样根据相对失真值观察收敛情况，决定是否结束。像矢量量化那样根据相对失真值观察收敛情况，决定是否结束。jdjj 时延神经网络时延神经网络v时间归一化处理得到
27、的固定长度的语音输入模式，不能反映时间归一化处理得到的固定长度的语音输入模式，不能反映帧间变化的动态特性。为了使神经网络能够处理语音中的动帧间变化的动态特性。为了使神经网络能够处理语音中的动态特性，理想的方法应该是一帧一帧或者几帧几帧依次地连态特性，理想的方法应该是一帧一帧或者几帧几帧依次地连续地输入语音特征参数。为了解决这些问题，美国卡内基续地输入语音特征参数。为了解决这些问题，美国卡内基-梅隆大学（梅隆大学（CMUCMU）的）的WaibelWaibel等提出了一种时延神经网络等提出了一种时延神经网络（Time-Delay Neural NetworkTime-Delay Neural Ne
28、twork，简称为，简称为TDNNTDNN）结构。）结构。v时延神经网络应满足的要求：时延神经网络应满足的要求：（1 1）网络是多层的，各层间有足够的连接权，以使网络具有）网络是多层的，各层间有足够的连接权，以使网络具有学习复杂非线性判决面的能力。学习复杂非线性判决面的能力。（2 2）网络有能力表达语音特征在时间上的关系。）网络有能力表达语音特征在时间上的关系。（3 3）网络通过学习而提取的特征应具有在时间变化过程中的）网络通过学习而提取的特征应具有在时间变化过程中的不变性。不变性。（4 4）学习过程不要求对所学的标记进行精确的时间定位。）学习过程不要求对所学的标记进行精确的时间定位。（5 5
29、）与训练数据相比，网络的权数应当足够少，从而可使网）与训练数据相比，网络的权数应当足够少，从而可使网络能够更好地提取训练数据中的特征。络能够更好地提取训练数据中的特征。v循环神经网络循环神经网络 v循环神经网络（循环神经网络（Recurrent Neural NetworkRecurrent Neural Network，简称为，简称为RNNRNN）既有前馈通路，又有反馈通路。反馈通路可将某一层神经元既有前馈通路，又有反馈通路。反馈通路可将某一层神经元的激活输出经过一个或几个时间节拍之后送到同一层的神经的激活输出经过一个或几个时间节拍之后送到同一层的神经元（例如节点的自反馈通路），或送到较低层
30、次的神经元。元（例如节点的自反馈通路），或送到较低层次的神经元。在网络中加入反馈通路可以处理与时间有关的状态序列，使在网络中加入反馈通路可以处理与时间有关的状态序列，使得网络可以得网络可以“记忆记忆”以前输入所引起激活特性。这对于处理以前输入所引起激活特性。这对于处理语音信号是很有用的。语音信号是很有用的。v处理循环网络时，可以引入处理循环网络时，可以引入“关联节点关联节点”（Context nodeContext node）的概念。它是一个假设的节点，用来暂存相关节点的输出，的概念。它是一个假设的节点，用来暂存相关节点的输出，并经过一定时延再送到由反馈通路决定的相关节点中。对在并经过一定时延
31、再送到由反馈通路决定的相关节点中。对在第第n n层的某一个神经元，它在层的某一个神经元，它在t t时刻的输出存在其关联节点中，时刻的输出存在其关联节点中，然后在然后在t+1t+1时刻再输入到有关的神经元。关联节点与其所有时刻再输入到有关的神经元。关联节点与其所有输入的神经元之间的互联权称为关联权。图输入的神经元之间的互联权称为关联权。图6-106-10给出了一个给出了一个最简单的自反馈与关联节点关系的例子。最简单的自反馈与关联节点关系的例子。v关联接点结构关联接点结构 6.5 6.5 用神经网络进行模式识别的典型做法用神经网络进行模式识别的典型做法 v在各种人工神经网络模型中，在模式识别中应用
32、最多的也是在各种人工神经网络模型中，在模式识别中应用最多的也是最成功的当数多层前馈网络，其中又以采用最成功的当数多层前馈网络，其中又以采用BPBP学习算法的多学习算法的多层感知器（习惯上也简称为层感知器（习惯上也简称为BPBP网络）为代表。由于网络采用网络）为代表。由于网络采用的是监督学习方式进行训练，因此只能用于监督模式识别问的是监督学习方式进行训练，因此只能用于监督模式识别问题。在利用人工神经网络模型进行模式识别时，由于网络模题。在利用人工神经网络模型进行模式识别时，由于网络模型结构一旦确定，网络的输入节点数就是固定不变的，所以型结构一旦确定，网络的输入节点数就是固定不变的，所以输入模式的
33、长度必须是一定的。对于语音信号处理方面的应输入模式的长度必须是一定的。对于语音信号处理方面的应用来讲，这往往首先要进行语音参数的时间归一化处理。而用来讲，这往往首先要进行语音参数的时间归一化处理。而对于网络结构的输出节点的选择，决定了以下两种人工神经对于网络结构的输出节点的选择，决定了以下两种人工神经网络模型在模式识别中的应用方式。网络模型在模式识别中的应用方式。多输出型多输出型 v所谓多输出型，即对于多个类别，只有一个人工神经网络模所谓多输出型，即对于多个类别，只有一个人工神经网络模型，而这个网络有多个输出节点，每一个输出节点对应一个型，而这个网络有多个输出节点，每一个输出节点对应一个类别。
34、网络的结构是输入节点数对应于样点数或者样本的特类别。网络的结构是输入节点数对应于样点数或者样本的特征维数，而输出层的节点数等于类别数。征维数，而输出层的节点数等于类别数。v在训练阶段，如果用于训练的输入训练样本的类别标号是在训练阶段，如果用于训练的输入训练样本的类别标号是i i，则训练时设第则训练时设第i i个节点的期望输出设为个节点的期望输出设为1,1,而其余输出节点期而其余输出节点期望输出均为望输出均为0 0。并且对于这个人工神经网络模型，利用每个。并且对于这个人工神经网络模型，利用每个类别的训练数据，对其进行有监督训练。类别的训练数据，对其进行有监督训练。v在识别阶段，当一个未知类别的样
35、本作用到输入端时，考查在识别阶段，当一个未知类别的样本作用到输入端时，考查各输出节点的输出，并将这个样本的类别判定为与输出值最各输出节点的输出，并将这个样本的类别判定为与输出值最大的那个节点对应的类别。大的那个节点对应的类别。单输出型单输出型 v所谓单输出型，即一个人工神经网络模型只有一个输出。很所谓单输出型，即一个人工神经网络模型只有一个输出。很多实验表明，在多输出方式中，由于网络要同时适应所有类多实验表明，在多输出方式中，由于网络要同时适应所有类别，势必需要更多的隐层节点，而且学习过程往往收敛较慢，别，势必需要更多的隐层节点，而且学习过程往往收敛较慢，此时可以采用多个多输入单输出形式的网络
36、，让每个网络只此时可以采用多个多输入单输出形式的网络，让每个网络只完成识别两类分类，即判断样本是否属于某个类别。完成识别两类分类，即判断样本是否属于某个类别。v具体作法是，网络的每一个输入节点对应样本一个特征（或具体作法是，网络的每一个输入节点对应样本一个特征（或输入特征矢量的一维），而输出层节点只有一个。为每个类输入特征矢量的一维），而输出层节点只有一个。为每个类建立一个这样的网络（网络的隐层节点数可以不同）。对每建立一个这样的网络（网络的隐层节点数可以不同）。对每一类进行分别训练，将属于这一类的样本的期望输出设为一类进行分别训练，将属于这一类的样本的期望输出设为1 1，而把属于其他类的样本的期望输出设为而把属于其他类的样本的期望输出设为0 0。v在识别阶段，将未知类别的样本输入到每一个网络，如果某在识别阶段，将未知类别的样本输入到每一个网络，如果某个网络的输出接近个网络的输出接近1 1（或大于某个阈值，比如（或大于某个阈值，比如0.50.5），则判断），则判断该样本属于这一类；而如果有多个网络的输出均大于阈值，该样本属于这一类；而如果有多个网络的输出均大于阈值，则或者将类别判断为具有最大输出的那一类，或者做出拒绝；则或者将类别判断为具有最大输出的那一类，或者做出拒绝；当所有网络的输出均小于阈值时也可采取类似的决策方法。当所有网络的输出均小于阈值时也可采取类似的决策方法。
