FAFU机器学习 10-2NN中文.pptx

1、机器学习基础人工神经网络2020/12/3人工神经网络第10-1课人工神经网络人工神经网络人工神经网络:导论导论单层神经网络多层神经网络自组织映射(SOM)其他神经网络sklearn.neural_network2020/12/3人工神经网络第10-2课人工神经网络:导论大脑和神经元（）神经元是大脑的组成部分它们之间的相互连接形成了程序，使我们能够解决所有的日常任务它们能够执行并行和容错计算关于大脑中的神经元如何工作以及它们如何学习的理论模型，从人工智能开始就已经发展起来了这些模型中的大多数都非常简单（但功能强大），与真正的大脑神经元有细微的相似之处2020/12/3人工神经网络第10-3课人

2、工神经网络:导论A neuron model（神经元模型）1943 年，McCulloch and Pitts,1943 抽象出“M-P 神经元模型”,在这个模型中，神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接(connection)进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”(activation function)处理以产生神经元的输出。2020/12/3人工神经网络第10-4课人工神经网络导论，“0”“1”，“1”，“0”。，sigmoid，（0，1），“”（挤压函数）。2020/12/3人工神经网络第10-5课人工神经

3、网络:导论神经元/网络的组织，/通常神经元相互连接形成网络，基本上有两种架构前馈网络（），神经元只在一个方向上连接递归网络（，），输出端可以连接到输入端前馈网络按层组织，一层连接另一层单层神经网络（感知器网络，）:输入层（），输出层（）多层神经网络:输入层，隐层（），输出层2020/12/3人工神经网络第10-6课人工神经网络:导论作为逻辑门的神经元（）神经网络的最初研究将神经元定义为能够模拟逻辑门（阈值逻辑单元，TLU）的函数输入xi0，1，权重wi+1，1，阈值w0R，激活函数阈值函数:如果xw0，则g(x)=1，否则为0神经元组可以计算布尔函数，组成计算OR，AND和NOT函数的TLU2

4、020/12/3人工神经网络第10-7课人工神经网络:导论作为逻辑门的神经元（）2020/12/3人工神经网络第10-8课Artificial Neural NetworksArtificial Neural Networks:IntroductionSingle Layer Neural NetworksMultiple Layer Neural NetworksSelf-Organizing Map(SOM)Other Neural Networkssklearn.neural_network2023-11-4Artificial Neural NetworksLesson 10-9Sin

5、gle Layer Neural NetworksThe perceptron（感知机）感知机(Perceptron)由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P 神经元。2023-11-4Artificial Neural NetworksLesson 10-10Single Layer Neural NetworksThe perceptron（感知机）感知机(Perceptron)由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P 神经元。2023-11-4Artificial Neural NetworksLesson 10-11Singl

6、e Layer Neural NetworksThe perceptron（感知机）The perceptron learning rule(感知器学习规则)感知机学习规则非常简单，对训练样例（x，y)，若当前感知机的输出为y，则感知机权重将这样调整:wi=wi+wiwi=(yy)xi其中属于(0,1)为学习率(learning rate)2023-11-4Artificial Neural NetworksLesson 10-12Single Layer Neural NetworksLimitations of linear perceptrons(线性感知器的不足)With linear

7、 perceptrons we can only classify correctly linearly separable problemsThe hypothesis space is not powerful enough for real problems Example,the XOR function:2023-11-4Artificial Neural NetworksLesson 10-13Artificial Neural NetworksArtificial Neural Networks:IntroductionSingle Layer Neural NetworksMu

8、ltiple Layer Neural Networks（多层神经网络）（多层神经网络）Self-Organizing Map(SOM)Other Neural Networkssklearn.neural_network2023-11-4Artificial Neural NetworksLesson 10-14Multiple Layer Neural NetworksMultilayer Perceptron要解决非线性可分问题，需考虑使用多层功能神经元，比如对异或问题:2023-11-4Artificial Neural NetworksLesson 10-15Multiple Lay

9、er Neural NetworksMultilayer Perceptron一般地，多层神经网络中每层神经元与下层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接，这样的神经网络结构通常称为“多层前馈神经网络”(multi-layer feedforward neural networks)。其中输入层神经元接收外界输入，隐层与输出层神经元对信号进行加工，最终结果由输出层神经元输出。换言之，输入层神经元仅是接受输入，不进行函数处理，隐层与输出层包含功能神经元。2023-11-4Artificial Neural NetworksLesson 10-16Multiple Layer N

10、eural NetworksLearning Multilayer Networks（多层网络的学习）In the case of single layer networks the parameters to learn are the weights of only one layerIn the multilayer case we have a set of parameters for each layer and each layer is fully connected to the next layerFor single layer networks when we have

11、 multiple outputs we can learn each output separatelyIn the case of multilayer networks the different outputs are interconnected2023-11-4Artificial Neural NetworksLesson 10-17Multiple Layer Neural NetworksBack Propagation(反向传播)IntuitivelyThe error of the single layer perceptron links directly the tr

12、ansformation of the input in the outputIn the case of multiple layers each layer has its own errorThe error of the output layer is directly the error computed from the true valuesThe error for the hidden layers is more difficult to defineThe idea is to use the error of the next layer to influence th

13、e weights of the previous layerWe are propagating backwards the output error,hence the name of Back Propagation(BP)2023-11-4Artificial Neural NetworksLesson 10-18Multiple Layer Neural NetworksBack Propagation(反向传播)IntuitivelyThe idea is to use the error of the next layer to influence the weights of

14、the previous layer2023-11-4Artificial Neural NetworksLesson 10-19Multiple Layer Neural NetworksBack propagation Algorithm(BP算法）The backpropagation algorithm works in two stepsPropagate the examples through the network to obtain the output(forward propagation)Propagate the output error layer by layer

15、 updating the weights of the neurons(back propagation)2023-11-4Artificial Neural NetworksLesson 10-20Multiple Layer Neural NetworksBack propagation Algorithm(BP算法）The backpropagation algorithm works in two stepsPropagate the examples through the network to obtain the output(forward propagation)Propa

16、gate the output error layer by layer updating the weights of the neurons(back propagation)BP 算法基于梯度下降(gradient descent)策略，以目标的负梯度方向对参数进行调整。Sigmoid函数2023-11-4Artificial Neural NetworksLesson 10-21Multiple Layer Neural Networks多层前馈神经网络学习的目标是均方误差，对(xk,yk)2023-11-4Artificial Neural NetworksLesson 10-22M

17、ultiple Layer Neural NetworksBP算法基本流程2023-11-4Artificial Neural NetworksLesson 10-23输入:训练集D=(xk,yk),k=lm;学习率.过程:1:在(0,1)范固内随机初始化网络中所有连接权和阈值2:repeat3:for all(xk,yk)in D do4:根据当前参数计算当前样本的输出5:计算输出层神经元的梯度项;6:计算隐层神经元的梯度项;7:更新连接权whj 和vih，更新输出层阈值j和隐层阈值h8:end for9:until 达到停止条件输出:连接权与阈值确定的多层前馈神经网络Artificial

18、Neural NetworksArtificial Neural Networks:IntroductionSingle Layer Neural NetworksMultiple Layer Neural NetworksSelf-Organizing Map(SOM)，自组织映射，自组织映射Other Neural Networkssklearn.neural_network2023-11-4Artificial Neural NetworksLesson 10-24Self-Organizing MapThe Self-Organizing Map is one of the most

19、popular neural network models.It belongs to the category of competitive learning networks（竞争学习（竞争学习型网络）型网络）.The Self-Organizing Map is based on unsupervised learning（无监督学习）无监督学习）,which means that no human intervention is needed during the learning and that little needs to be known about the characte

20、ristics of the input data.We could,for example,use the SOM for clustering data without knowing the class memberships of the input data.The SOM can be used to detect features inherent to the problem and thus has also been called SOFM,the Self-Organizing Feature Map.2023-11-4Artificial Neural Networks

21、Lesson 10-25SOM典型结构SOM网络是一种竞争学习型的无监督神经网络，将高维空间中相似的样本点映射到网络输出层中的邻近神经元。典型典型SOM网络共有网络共有两层两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。2023-11-4Artificial Neural NetworksLesson 10-26SOM网络学习算法训练过程简述：在接收到训练样本后，每个输出层神经元会计算该样本与自身携带的权向量之间的距离，距离最近的神经元成为竞争获胜者，称为最佳匹配单元。然后最佳匹配单元及其邻近的神经元的权向量将被调整，以使得这些权向量与当前输入样本的距离缩小。这个过程不

22、断迭代，直至收敛。输入层：假设一个输入样本为x=x1,x2,x3,xn，是一个n维向量，则输入层神经元个数为n个。输出层（竞争层）：通常输出层的神经元以矩阵等拓扑结构排列在二维空间中，每个神经元都有一个权值向量。假设输出层有m个神经元，则有m个权值向量，Wi=wi1,wi2,.,win,1=i=m。2023-11-4Artificial Neural NetworksLesson 10-27SOM网络学习算法流程1.初始化:权值使用较小的随机值进行初始化，并对输入向量和权值做归一化处理X=X/|X|，i=i/|i|，1=i=m，|X|和|i|分别为输 入的样本向量和权值向量的欧几里得范数。2.

23、将样本输入网络:样本与权值向量做点积，点积值最大的输出神经元赢得竞争，（或者计算样本与权值向量的欧几里得距离，距离最小的神经元赢得竞争）记为获胜神经元。3.更新权值:对获胜的神经元拓扑邻域内的神经元进行更新,并对学习后的权值重新归一化。4.更新学习速率及拓扑邻域N，N随时间增大距离变小。5.判断是否收敛。如果学习率=min或达到预设的迭代次数，结束算法，否则，返回第2步。2023-11-4Artificial Neural NetworksLesson 10-28SOM网络学习算法流程1.初始化权值，并对输入向量和权值做归一化处理2.将样本输入网络，寻找获胜神经元。3.更新权值：对获胜的神经元

24、拓扑邻域内的神经元进行更新,并对学习后的权值重新归一化。(t+1)=(t)+(t，n)*(x-(t)(t，n):为学习率，是关于训练时间t和与获胜神经元的拓扑距离n的函数。(t，n)=(t)e-n4.更新学习速率及拓扑邻域N，N随时间增大距离变小。5.判断是否收敛。如果学习率=min或达到预设的迭代次数，结束算法，否则，返回第2步。2023-11-4Artificial Neural NetworksLesson 10-29SOM网络学习算法流程1.初始化权值，并对输入向量和权值做归一化处理2.将样本输入网络，寻找获胜神经元。3.更新权值：对获胜的神经元拓扑邻域内的神经元进行更新,并对学习后的

25、权值重新归一化。(t+1)=(t)+(t，n)*(x-(t)(t，n):为学习率，是关于训练时间t和与获胜神经元的拓扑距离n的函数。(t，n)=(t)e-n4.更新更新学习速率学习速率及拓扑邻域及拓扑邻域N，N随时间增大距离变小。5.判断是否收敛。如果学习率=min或达到预设的迭代次数，结束算法，否则，返回第2步。2023-11-4Artificial Neural NetworksLesson 10-30Artificial Neural NetworksArtificial Neural Networks:IntroductionSingle Layer Neural NetworksMu

26、ltiple Layer Neural NetworksSelf-Organizing Map(SOM)，自组织映射Other Neural Networkssklearn.neural_network2023-11-4Artificial Neural NetworksLesson 10-31Other Neural NetworksRBF网络RBF(Radial Basis Function，径向基函数)网络是一种单隐层前馈神经网络，它使用径向基函数作为隐层神经元激活函数，而输出层则是对隐层神经元输出的线性组合.假定输入为d 维向量x，输出为实值，则RBF网络可表示为：常用的高斯径向基函数

27、形如：2023-11-4Artificial Neural NetworksLesson 10-32Other Neural NetworksRBF网络受限玻尔兹曼机，Restricted Boltzmann machines(RBM)RBM是由Hinton和Sejnowski于1986年提出的一种生成式随机神经网络(generative stochastic neural network)，该网络由一些可见单元(visible unit，对应可见变量，亦即数据样本)和一些隐藏单元(hidden unit，对应隐藏变量)构成，可见变量和隐藏变量都是二元变量，亦即其状态取0,1。整个网络是一个二

28、部图，只有可见单元和隐藏单元之间才会存在边，可见单元之间以及隐藏单元之间都不会有边连接2023-11-4Artificial Neural NetworksLesson 10-33Other Neural NetworksRBF网络受限玻尔兹曼机RBM are unsupervised nonlinear feature learners based on a probabilistic model.The features extracted by an RBM or a hierarchy of RBMs often give good results when fed into a li

29、near classifier such as a linear SVM or a perceptronRBM中的神经元都是布尔型的,即只能取0、1 两种状态.状态1 表示激活,状态0表示抑制.令向量s 属于0,ln 表币n个神经元的状态，ij 表示神经元i与j 之间的连接权，i也表示神经元i 的阈值，则状态向量s 所对应的Boltzmann 机能量定义为：2023-11-4Artificial Neural NetworksLesson 10-34Artificial Neural NetworksArtificial Neural Networks:IntroductionSingle L

30、ayer Neural NetworksMultiple Layer Neural NetworksSelf-Organizing Map(SOM)，自组织映射Other Neural Networkssklearn.neural_network2023-11-4Artificial Neural NetworksLesson 10-35sklearn.neural_networkThe sklearn.neural_network module includes models based on neural networks.2023-11-4Artificial Neural Networ

31、ksLesson 10-36neural_network.BernoulliRBM(n_components,)Bernoulli Restricted Boltzmann Machine(RBM).neural_network.MLPClassifier()Multi-layer Perceptron classifier.neural_network.MLPRegressor()Multi-layer Perceptron regressor.sklearn.neural_networkclass sklearn.neural_network.MLPClassifier(hidden_la

32、yer_sizes=(100,),activation=relu,*,solver=adam,alpha=0.0001,batch_size=auto,learning_rate=constant,learning_rate_init=0.001,power_t=0.5,max_iter=200,shuffle=True,random_state=None,tol=0.0001,verbose=False,warm_start=False,momentum=0.9,nesterovs_momentum=True,early_stopping=False,validation_fraction=

33、0.1,beta_1=0.9,beta_2=0.999,epsilon=1e-08,n_iter_no_change=10,max_fun=15000)2023-11-4Artificial Neural NetworksLesson 10-37SummaryArtificial Neural Networks:IntroductionSingle Layer Neural NetworksMultiple Layer Neural NetworksSelf-Organizing Map(SOM)，自组织映射Other Neural Networkssklearn.neural_network2023-11-4Artificial Neural NetworksLesson 10-38