循环神经网络介绍深度学习在序列数据的应用韩翠云目录 RNN:结构介绍、前向传播、反向传播、梯度vanish(10min)LSTM:结构介绍(10min)Seq2Seq:结构介绍+代码演示(8min)RNN-前馈网络VS循环网络Standard NNConvolutional NNRNN-前馈网络VS循环网络RNN-动态系统/循环函数/图模型RNN-前向传播RNN-反向传播/梯度VanishingRNN-网络结构LSTM-网络结构LSTM-模型介绍LSTM关键-cell state,传送带,信息流动LSTM-模型介绍gates=a sigmoid neural net layer+a pointwise multiplication operation为cell state增加/减少信息,信息流动LSTM-模型介绍step1:forget gates:输出值0-1之间的实数.1代表全完保留,0代表丢弃LSTM-模型介绍step2:input gates:输出值0-1之间的实数new memeory cell:输出值-1-1之间的实数LSTM-模型介绍LSTM-模型介绍step4:决定输出,基于cell state,但要过output gateLSTM-模型介绍LSTM-变体1LSTM-变体2LSTM-变体3Seq2Seq-模型介绍RNN-反向传播RNN-模型介绍语言模型