1、浅谈深度学习（浅谈深度学习（D Deepeep L Learningearning）1 制作者：刘红敬 专 业：计算机技术 112/7/2022主要内容主要内容 20062006年以来，机器学习领域中一个叫年以来，机器学习领域中一个叫“深度学习深度学习”的的课题开始受到学术界广泛关注，如今拥有大数据的互联网课题开始受到学术界广泛关注，如今拥有大数据的互联网公司争相投入大量资源研发深度学习技术。公司争相投入大量资源研发深度学习技术。一一、机器学习机器学习 二、为什么有二、为什么有 D Deep learningeep learning？Why?Why?三、三、什么是什么是 D Deep lear
2、ningeep learning？What?What?四、四、怎么来的？怎么来的？五、五、Deep learningDeep learning与神经网络的异同与神经网络的异同2212/7/2022一、机器学习一、机器学习 机器学习（机器学习（Machine LearningMachine Learning）是一门专门研究计算机怎是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。组织已有的知识结构使之不断改善自身的性能的学科。简单的说，机器学习就是通过算法，使得机器能从
3、大量的简单的说，机器学习就是通过算法，使得机器能从大量的历史数据中学习规律，从而对新的样本做智能识别或预测未来。历史数据中学习规律，从而对新的样本做智能识别或预测未来。19591959年美国的年美国的塞缪尔塞缪尔(Samuel)(Samuel)设计了一个下棋程序，这个设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4 4年后，这个程序战胜了设计者本人。又过了年后，这个程序战胜了设计者本人。又过了3 3年，这个程序战胜年，这个程序战胜了美国一个保持了美国一个保持8 8年之久的常胜不败的冠军。这个程序向人们展年之久
4、的常胜不败的冠军。这个程序向人们展示了示了机器学习的能力，机器学习的能力，提出了许多令人深思的社会问题与哲学提出了许多令人深思的社会问题与哲学问题。问题。这种程序水平达到一定程度很容易，但再进一步就不容易了。这种程序水平达到一定程度很容易，但再进一步就不容易了。深蓝深蓝是是9090年代机器学习理论有了突破之后才出来的年代机器学习理论有了突破之后才出来的。3312/7/2022二、二、Why?Why?机器学习虽然发展了几十年，但还是存在很多没有良好解决的机器学习虽然发展了几十年，但还是存在很多没有良好解决的问题。例如以问题。例如以视觉感知视觉感知为例，通过为例，通过机器学习机器学习去解决这些问题
5、的去解决这些问题的思路：思路：Input Input Feature RepresentationFeature Representation Learning Learning Algorithm Algorithm 手工选取特征不太好，那么能不能自动地学习一些特征呢？手工选取特征不太好，那么能不能自动地学习一些特征呢？答案是能！答案是能！Deep LearningDeep Learning就是用来干这个事情的，它有一个别就是用来干这个事情的，它有一个别名名Unsupervised Feature LearningUnsupervised Feature Learning。WhyWhy？答案
6、：让机器自动学习良好的特征，而免去人工选取过程。答案：让机器自动学习良好的特征，而免去人工选取过程。4412/7/2022三、三、WhatWhat？深度学习深度学习是机器学习研究中的一个新的领域，其动机在是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。深度学习是无监督学习的一种。深度学习的概念深度学习的概念源于源于人工神经网络的研究。含多隐层的人工神经网络的研究。含多隐层的多层感知器就是一种深度学
7、习结构。深度学习通过组合低层多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。的分布式特征表示。5512/7/2022四、怎么来的？四、怎么来的？从机器学习的模型结构层次来分，机器学习经历了两次浪潮：从机器学习的模型结构层次来分，机器学习经历了两次浪潮：1 1、浅层学习（、浅层学习（Shallow LearningShallow Learning）：机器学习第一次浪潮）：机器学习第一次浪潮2 2、深度学习（、深度学习（Deep LearningDeep Learning）
8、：机器学习第二次浪潮）：机器学习第二次浪潮6612/7/2022 1 1、浅层学习、浅层学习 2020世纪世纪8080年代末期年代末期，由于，由于人工神经网络人工神经网络的的反向传播算反向传播算法法（BPBP算法算法）的发明，给机器学习带来了希望，掀起了）的发明，给机器学习带来了希望，掀起了基基于统计模型的机器学习于统计模型的机器学习热潮。这个热潮一直持续到今天。热潮。这个热潮一直持续到今天。基于统计的机器学习方法可以让一个人工神经网络模基于统计的机器学习方法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预型从大量训练样本中学习统计规律，从而对未知事件做预测。测。这个
9、时候的人工神经网络，虽也被称作这个时候的人工神经网络，虽也被称作多层感知机多层感知机（Multi-layer PerceptronMulti-layer Perceptron），但实际是一种只含有），但实际是一种只含有一层一层隐层节点的浅层模型隐层节点的浅层模型。7712/7/20221 1、浅层学习、浅层学习 2020世纪世纪9090年代年代，各种各样的浅层机器学习模型相继被，各种各样的浅层机器学习模型相继被提出，例如提出，例如支撑向量机支撑向量机（SVMSVM）、）、BoostingBoosting、最大熵方法最大熵方法（LRLR）等。）等。这些模型的结构基本上可以看成带有这些模型的结构基
10、本上可以看成带有一层隐层节点一层隐层节点（如（如SVMSVM、BoostingBoosting），或），或没有隐层节点没有隐层节点（如（如LRLR）。这些）。这些模型无论是在理论分析还是应用中都获得了巨大的成功。模型无论是在理论分析还是应用中都获得了巨大的成功。相比之下，由于理论分析的难度大，训练方法又需要相比之下，由于理论分析的难度大，训练方法又需要很多经验和技巧，这个时期深度人工神经网络反而相对沉很多经验和技巧，这个时期深度人工神经网络反而相对沉寂。寂。8812/7/20222 2、深度学习、深度学习 20062006年，加拿大多伦多大学教授、机器学习领域的泰斗年，加拿大多伦多大学教授、机
11、器学习领域的泰斗Geoffrey HintonGeoffrey Hinton等在等在ScienceScience上发表了一篇文章上发表了一篇文章11，开启了深度学习在学术界和工业界的浪潮。开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：这篇文章有两个主要观点：1 1）多隐层多隐层的人工神经网络具有优异的特征学习能力，学习的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或得到的特征对数据有更本质的刻画，从而有利于可视化或分类分类。2 2）深度神经网络在训练上的难度，可以通过）深度神经网络在训练上的难度，可以通过“逐层初始化逐层初始化”来有效
12、克服，在这篇文章中，逐层初始化是通过无监督学来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。习实现的。11 Hinton,Geoffrey;Osindero,Simon;Welling,Max;Teh,Yee-Whye.Unsupervised Discovery of Nonlinear Structure Using Contrastive Backpropagation.Science.2006(30)4:725-732.9912/7/2022 当前多数当前多数分类、回归分类、回归等学习方法为等学习方法为浅层结构算法浅层结构算法，其，其局限性在于有限样本和计算单元情况下对复杂
13、函数的表示局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习深度学习可通过学习一种可通过学习一种深层非线性网络结构深层非线性网络结构，实现，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本中集中学习数据集本质特征的能力。（多层的从少数样本中集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）的好处是可以用较少的参数表示复杂的函数）102 2、深度学习、深度学习1012/7/2022 深度学习深度学
14、习的实质，是通过构建具有的实质，是通过构建具有很多隐层很多隐层的机器学的机器学习模型和海量的训练数据，来学习更有用的特征，从而最习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，终提升分类或预测的准确性。因此，“深度模型深度模型”是手段，是手段，“特征学习特征学习”是目的。是目的。区别于传统的浅层学习，深度学习的不同在于：区别于传统的浅层学习，深度学习的不同在于：1 1）强调了）强调了模型结构的深度模型结构的深度，通常有，通常有5 5层、层、6 6层，甚至层，甚至1010多层多层的隐层节点；的隐层节点；2 2）明确突出了）明确突出了特征学习的重要性特征学习的重要
15、性，也就是说，通过逐层特，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。利用大数据来学习特征，间，从而使分类或预测更加容易。利用大数据来学习特征，更能够刻画数据的丰富内在信息。更能够刻画数据的丰富内在信息。113 3、浅层学习与深度学习的不同、浅层学习与深度学习的不同1112/7/2022四、深度学习与神经网络的异同四、深度学习与神经网络的异同 深度学习深度学习与与传统的神经网络传统的神经网络之间有相同的地方也有很之间有相同的地方也有很多不同。多不同。相同点相同点：深度学习深度学习采用了神经
16、网络相似的分层结构，系采用了神经网络相似的分层结构，系统由包括统由包括输入层、隐层（多层）、输出层输入层、隐层（多层）、输出层组成的多层网络，组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个逻辑回归模型；这种分互无连接，每一层可以看作是一个逻辑回归模型；这种分层结构，是比较接近人类大脑的结构的。层结构，是比较接近人类大脑的结构的。121212/7/2022 不同点不同点：采用了：采用了不同的训练机制不同的训练机制。传统神经网络传统神经网络中，采用的是反向传播（中，采用的是反向传播（BPBP）的方式
17、进）的方式进行。即采用迭代的算法来训练整个网络，随机设定初值，行。即采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前计算当前网络的输出，然后根据当前计算的输出值计算的输出值和和实际实际的标记值的标记值之间的差去改变前面各层的参数，直到收敛（整之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。体是一个梯度下降法）。BP BP算法不适合深度神经网络：算法不适合深度神经网络：如果对所有层同时训练，如果对所有层同时训练，时间复杂度会太高；如果每次训练一层，偏差就会逐层传时间复杂度会太高；如果每次训练一层，偏差就会逐层传递，出现过拟合递，出现过拟合。深度学习深度
18、学习整体上是一个逐层整体上是一个逐层的训练机制。的训练机制。131312/7/2022深度学习的训练过程深度学习的训练过程1 1）自下而上的非监督学习自下而上的非监督学习:从底层开始，一层一层的往顶层训练，分别得到各层参数。采用无标签数据分层训练各层参数（可以看作是采用无标签数据分层训练各层参数（可以看作是feature feature learninglearning过程）过程）2 2）自上而下的监督学习自上而下的监督学习：通过带标签的数据去训练，误差自上向下传输，对网络进行微调。基于第一步得到的各层参数进一步调整整个多层模型的基于第一步得到的各层参数进一步调整整个多层模型的参数，这一步是一个有监督训练过程参数，这一步是一个有监督训练过程1412/7/2022Thank you！151512/7/2022
