1、自然语言处理自然语言处理N a t u r a l L a n g u a g e P r o c e s s i n g第 三 章第 三 章 神 经 网 络 和 深 度 学 习神 经 网 络 和 深 度 学 习目录背景介绍Contents1章节概述2小节介绍3本章总结4背景介绍B A C K G R O U N DONE基本概念与关系深度学习的起源多层感知机的发展反向传播算法的成功深度学习的兴起背景介绍基本概念与关系一种受生物学启发的模型设计范式，可以让计算机从观测数据中进行学习一个强有力的用于神经网络学习的众多技术的集合深度学习是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学
2、习的算法。概念概念神经神经网络网络深度深度学习学习总体总体关系关系起源：20世纪40年代前身：简单线性模型问题：无法学习异或函数等等深度学习的起源多层感知机的发展多层感知机的结构反向传播算法的成功深度学习的兴起章节概述C H A P T E R O V E R V I E WTWO概述前馈神经网络基本循环神经网络循环神经网络的改进结构深度学习概览基本前馈神经网络卷积神经网络注意力网络章节概述双向RNN深度RNNLSTM&GRURNN的应用RNN的提出背景基本RNN结构RNN的训练基本RNN存在的问题激活函数监督学习和数据集损失函数&正则化梯度下降和反向传播算法010203多层感知机卷积神经网络
3、注意力网络前馈神经网络01020403RNN的提出背景基本RNN 结构RNN的 训练基本RNN存在的问题基本循环神经网络01020403双向RNN深度RNNLSTM&GRURNN的 应用RNN的改进结构01020403激活函数监督学习和数据集损失函数和正则化梯度下降反向传播深度学习概览小节介绍S E C T I O N I N T R O D U C T I O NTHREE3、神经网络和深度学习前馈神经网络3.1基本循环神经网络3.23.3循环神经网络的改进结构3.4深度学习概览3.1.1 基本前馈神经网络单层感知机的结构3.1.1 基本前馈神经网络多层感知机的结构3.1.2 卷积神经网络卷
4、积神经网络本质上是前馈神经网络局部连接和权值共享适应网格结构数据在CV和NLP应用广泛3.1.2 卷积神经网络CNN中的卷积3.1.2 卷积神经网络CNN中的池化字符检测图像分类图像语义分割文本分类语义分析3.1.2 卷积神经网络3.1.3 注意力网络注意力机制的结构3、神经网络和深度学习前馈神经网络3.1基本循环神经网络3.23.3循环神经网络的改进结构3.4深度学习概览3.2.1 循环神经网络的提出背景循环神经网络隐层上有回路自连接相当于步间权值共享适用于各种序列任务是NLP中的重要方法3.2.2 基本循环神经网络结构循环神经网络的结构3.2.3 循环神经网络的训练基于时间的反向传播算法（
5、Back Propagation Through Time,BPTT）3.2.3 循环神经网络的训练3.2.3 循环神经网络的训练梯度消失梯度爆炸反方向信息流失计算并行性差3.2.4 基本循环神经网络存在的问题3、神经网络和深度学习前馈神经网络3.1基本循环神经网络3.23.3循环神经网络的改进结构3.4深度学习概览3.3.1 双向循环神经网络双向循环神经网络的结构3.3.2 深度循环神经网络深度循环神经网络的结构3.3.3 长短时记忆网络长短时记忆网络的结构3.3.3 长短时记忆网络LSTM中传递的细胞状态3.3.3 长短时记忆网络LSTM中的Sigmoid结构3.3.3 长短时记忆网络LS
6、TM中的遗忘门3.3.3 长短时记忆网络LSTM中的输入门和候选状态3.3.3 长短时记忆网络LSTM中的细胞状态计算3.3.3 长短时记忆网络LSTM中的输出门3.3.4 门控循环单元GRU的结构机器翻译语音识别语言建模语义分析语音合成3.3.5 循环神经网络的应用3、神经网络和深度学习前馈神经网络3.1基本循环神经网络3.23.3循环神经网络的改进结构3.4深度学习概览3.4.1 激活函数Tanh函数Sigmoid函数阶跃函数ReLU函数3.4.2 监督学习和数据集监督学习监督学习数据集数据集3.4.3 损失函数和正则化函数名称函数名称 数学形式数学形式函数名称函数名称 数学形式数学形式对
7、数损失函数对数损失函数0-1损失函数损失函数平方损失函数平方损失函数阶跃函数阶跃函数指数损失函数指数损失函数绝对值损失函数绝对值损失函数铰链损失函数铰链损失函数3.4.4 梯度下降和反向传播公式：梯度：本章总结C H A P T E R S U M M A R YFOUR总结前馈神经网络基本循环神经网络循环神经网络的改进结构深度学习概览基本前馈神经网络卷积神经网络注意力网络本章总结双向RNN深度RNNLSTM&GRURNN的应用RNN的提出背景基本RNN结构RNN的训练基本RNN存在的问题激活函数监督学习和数据集损失函数&正则化梯度下降和反向传播算法思考题1.请简述神经网络与深度学习之间的关系。2.请描述卷积神经网络的基本结构。3.请写出注意力机制中各个量的计算公式。4.请简述循环神经网络适用于序列问题的原因。5.请写出长短时记忆网络能够解决梯度消失问题的推导过程。6.请简述深度学习中包括哪些重要环节，并简要介绍。7.请分析不同激活函数的优缺点。8.请分析反向传播算法能够提高计算效率的原因。
