深度学习入门：基于Python的理论与实现课件.pptx

1、深度学习入门：基于Python的理论与实现OReilly Media,Inc.介绍01Part OneOReilly Media,Inc.介绍A本书的理念B本书面向的读者C本书不面向的读者D本书的阅读方法E让我们开始吧F表述规则1 Python 入门02Part One1 Python 入门1.1 Python是什么A1.2 Python的安装B1.3 Python解释器C1.4 Python脚本文件D1.5 NumPyE1.6 MatplotlibF1 Python 入门1.7 小结1 Python 入门1.2 Python的安装CBA1.2.1 Python版本1.2.2 使用的外部库1.

2、2.3 Anaconda发行版1.3 Python解释器1 Python 入门1.3.1 算术计算1.3.2 数据类型1.3.3 变量1.3.6 布尔型1.3.5 字典1.3.4 列表1.3 Python解释器1 Python 入门1.3.7 if 语句1.3.8 for 语句1.3.9 函数1.4 Python脚本文件1 Python 入门1.4.2 类021.4.1 保存为文件011.5 NumPy1 Python 入门1.5.1 导入 NumPy1.5.2 生成 NumPy 数组1.5.3 NumPy 的算术运算1.5.6 访问元素1.5.5 广播1.5.4 NumPy 的 N 维数组1

3、 Python 入门1.6 Matplotlib1.6.1 绘制简单图形1.6.2 pyplot 的功能1.6.3 显示图像2 感知机03Part One2 感知机01032.1 感知机是什么2.2 简单逻辑电路2.3 感知机的实现020405062.4 感知机的局限性2.5 多层感知机2.6 从与非门到计算机2 感知机2.7 小结2 感知机2.2 简单逻辑电路2.2.2 与非门和或门022.2.1 与门012 感知机2.3 感知机的实现CBA2.3.1 简单的实现2.3.2 导入权重和偏置2.3.3 使用权重和偏置的实现2 感知机2.4 感知机的局限性2.4.1 异或门12.4.2 线性和非

4、线性22 感知机2.5 多层感知机A2.5.1 已有门电路的组合2.5.2 异或门的实现B3 神经网络04Part One3 神经网络3.1 从感知机到神经网络3.2 激活函数3.3 多维数组的运算3.6 手写数字识别3.5 输出层的设计3.4 3 层神经网络的实现3 神经网络3.7 小结3 神经网络3.1 从感知机到神经网络3.1.1 神经网络的例子3.1.2 复习感知机3.1.3 激活函数登场3.2 激活函数3 神经网络3.2.2 阶跃函数的实现3.2.4 sigmoid 函数的实现3.2.6 非线性函数3.2.1 sigmoid 函数3.2.3 阶跃函数的图形3.2.5 sigmoid

5、函数和阶跃函数的比较3 神经网络3.2 激活函数3.2.7 ReLU函数3 神经网络3.3 多维数组的运算3.3.1 多维数组013.3.3 神经网络的内积033.3.2 矩阵乘法023.4 3 层神经网络的实现3 神经网络CBA3.4.1 符号确认3.4.2 各层间信号传递的实现3.4.3 代码实现小结3.5 输出层的设计3 神经网络3.5.2 实现 softmax 函数时的注意事项3.5.4 输出层的神经元数量3.5.1 恒等函数和 softmax 函数3.5.3 softmax 函数的特征3 神经网络3.6 手写数字识别3.6.2 神经网络的推理处理3.6.3 批处理3.6.1 MNIS

6、T 数据集4 神经网络的学习05Part One4 神经网络的学习4.1 从数据中学习A4.2 损失函数B4.3 数值微分C4.4 梯度D4.5 学习算法的实现E4.6 小结F4 神经网络的学习4.1 从数据中学习4.1.1 数据驱动4.1.2 训练数据和测试数据4.2 损失函数4 神经网络的学习4.2.2 交叉熵误差4.2.4 mini-batch 版交叉熵误差的实现4.2.1 均方误差4.2.3 mini-batch 学习4.2.5 为何要设定损失函数4 神经网络的学习4.3 数值微分4.3.1 导数4.3.2 数值微分的例子4.3.3 偏导数4.4 梯度4 神经网络的学习4.4.1 梯度

7、法14.4.2 神经网络的梯度24 神经网络的学习4.5 学习算法的实现CBA4.5.1 2 层神经网络的类4.5.2 mini-batch 的实现4.5.3 基于测试数据的评价5 误差反向传播法06Part One5 误差反向传播法015.1 计算图025.2 链式法则035.3 反向传播045.4 简单层的实现055.5 激活函数层的实现065.6 Affine/Softmax 层的实现5 误差反向传播法5.8 小结5.7 误差反向传播法的实现5 误差反向传播法5.1 计算图5.1.2 局部计算1325.1.1 用计算图求解5.1.3 为何用计算图解题5 误差反向传播法5.2 链式法则CB

8、A5.2.1 计算图的反向传播5.2.2 什么是链式法则5.2.3 链式法则和计算图5 误差反向传播法5.3 反向传播5.3.2 乘法节点的反向传播5.3.3 苹果的例子5.3.1 加法节点的反向传播5 误差反向传播法5.4 简单层的实现A5.4.1 乘法层的实现5.4.2 加法层的实现B5.5 激活函数层的实现5 误差反向传播法5.5.1 ReLU层15.5.2 Sigmoid 层25 误差反向传播法5.6 Affine/Softmax 层的实现5.6.2 批版本的 Affine 层贰5.6.1 Affine 层壹5.6.3 Softmax-with-Loss 层叁5 误差反向传播法5.7

9、误差反向传播法的实现5.7.2 对应误差反向传播法的神经网络的实现02045.7.4 使用误差反向传播法的学习5.7.1 神经网络学习的全貌图035.7.3 误差反向传播法的梯度确认016 与学习相关的技巧07Part One6 与学习相关的技巧01036.1 参数的更新6.2 权重的初始值6.3 Batch Normalization020405066.4 正则化6.5 超参数的验证6.6 小结6.1 参数的更新6 与学习相关的技巧6.1.1 探险家的故事6.1.2 SGD6.1.3 SGD 的缺点6.1.6 Adam6.1.5 AdaGrad6.1.4 MomentumLOGOM.9427

10、5.CN6 与学习相关的技巧6.1 参数的更新AB6.1.8 基于 MNIST 数据集的更新方法的比较6.1.7 使用哪种更新方法呢6.2 权重的初始值6 与学习相关的技巧ADBC6.2.2 隐藏层的激活值的分布6.2.3 ReLU的权重初始值6.2.4 基于 MNIST 数据集的权重初始值的比较6.2.1 可以将权重初始值设为 0 吗6 与学习相关的技巧6.3 Batch NormalizationAB6.3.2 Batch Normalization的评估6.3.1 Batch Normalization 的算法6 与学习相关的技巧6.4 正则化016.4.1 过拟合6.4.2 权值衰减0

11、26.4.3 Dropout036 与学习相关的技巧6.5 超参数的验证6.5.2 超参数的最优化6.5.3 超参数最优化的实现6.5.1 验证数据7 卷积神经网络08Part One7 卷积神经网络7.1 整体结构7.2 卷积层7.3 池化层7.6 CNN的可视化7.5 CNN的实现7.4 卷积层和池化层的实现7 卷积神经网络7.8 小结7.7 具有代表性的 CNN7.2 卷积层7 卷积神经网络7.2.1 全连接层存在的问题7.2.2 卷积运算7.2.3 填充7.2.6 结合方块思考7.2.5 3 维数据的卷积运算7.2.4 步幅7 卷积神经网络7.2 卷积层7.2.7 批处理7 卷积神经网

12、络7.3 池化层池化层的特征7 卷积神经网络7.4 卷积层和池化层的实现7.4.1 4 维数组017.4.3 卷积层的实现037.4.2 基于 im2col 的展开027.4.4 池化层的实现047 卷积神经网络7.6 CNN的可视化17.6.1 第 1 层权重的可视化27.6.2 基于分层结构的信息提取7 卷积神经网络7.7 具有代表性的 CNN7.7.1 LeNet7.7.2 AlexNet8 深度学习09Part One8 深度学习8.1 加深网络8.2 深度学习的小历史8.3 深度学习的高速化8.6 小结8.5 深度学习的未来8.4 深度学习的应用案例8 深度学习8.1 加深网络CBA

13、8.1.1 向更深的网络出发8.1.2 进一步提高识别精度8.1.3 加深层的动机8 深度学习8.2 深度学习的小历史8.2.1 ImageNet8.2.2 VGG8.2.4 ResNet8.2.3 GoogLeNet8 深度学习8.3 深度学习的高速化8.3.1 需要努力解决的问题018.3.2 基于 GPU 的高速化028.3.3 分布式学习038.3.4 运算精度的位数缩减048 深度学习8.4 深度学习的应用案例8.4.2 图像分割8.4.3 图像标题的生成8.4.1 物体检测8 深度学习8.5 深度学习的未来8.5.1 图像风格变换8.5.2 图像的生成8.5.3 自动驾驶8.5.4 Deep Q-Network（强化学习）附录 A Softmax-with-Loss 层的计算图10Part One附录 A Softmax-with-Loss 层的计算图A.1 正向传播A.2 反向传播A.3 小结感谢聆听