1、第十章胶囊网络10.1胶囊网络起源10.2胶囊网络基本概念10.3胶囊网络工作原理10.4胶囊网络典型应用深度学习of20110.1 胶囊网络起源第十章胶囊网络of202Geoffrey Hinton在2017年提出胶囊网络（Capsule Networks）概念。（1）提出意义 解决经典神经网络会损失很多重要空间信息这一问题。在经典神经网络的池化过程中，因为只有最活跃的神经元会被选择传递到下一层，所以会损失很多重要的空间信息。（2）routing-by-agreement 为解决这一问题，Geoffrey Hinton提出使用一个叫做“routing-by-agreement”的过程，将较为
2、底层的特征只被传递到与之匹配的高层。例如，手、眼睛、嘴巴等底层特征将只被传递到“面部”的高层，手指、手掌等底层特征将只被传递到“手”的高层。10.1胶囊网络起源10.2胶囊网络基本概念第十章胶囊网络10.3胶囊网络工作原理10.4胶囊网络典型应用深度学习of203第十章胶囊网络of20410.2 胶囊网络基本概念 胶囊网络定义及特点1l 胶囊网络是一种向量型神经网络，在网络中能保存被处理对象的姿态信息(如精确的目标位置、旋转、厚度、倾斜、大小等信息)，而不是丢失了之后再恢复。l 胶囊网络不仅蕴含特征出现的概率，还蕴含经典卷积神经网络由于池化等操作所丢失的诸如位置、倾斜、大小等姿态信息。第十章胶
3、囊网络of20510.2 胶囊网络基本概念 胶囊网络组成2l 胶囊网络由“胶囊”组成，“胶囊”是一组神经元，而不是单个神经元。l 经典神经网络由神经元组成。每个经典神经元的输入输出都是标量。l 每个胶囊的输入和输出都是向量，每个胶囊代表了被处理对象的一种属性，胶囊的向量值对应该属性的值。第十章胶囊网络of20610.2 胶囊网络基本概念 胶囊网络结构3胶囊网络结构第十章胶囊网络of20710.2 胶囊网络基本概念 胶囊与经典神经元在神经网络中的具体区别4胶囊与经典神经元对比 胶囊经典神经元底层输入操作仿射变换_加权求和非线性激活输出第十章胶囊网络of20810.2 胶囊网络基本概念 胶囊 vs
4、 经典神经元 向量 vs 标量4l 每个胶囊对应的向量，不仅蕴含着某种属性是否存在这一信息，还蕴含着属性的具体特征等信息。l 如某一个胶囊对应的某种动物是否有羽毛，以及该羽毛的颜色、纹理、形状特征。l 胶囊网络关注“是”与“否”的问题，以及具体是什么或不是什么的问题。胶囊经典神经元l 经典神经元的输出只是一个标量，只能表示出某个特征存不存在，不能表示出具体是什么特征。l 如一个神经元的标量仅对应着某种动物是否有羽毛，无法表示出该羽毛的颜色、纹理、形状等特征。l 经典神经元更关注“是”与“否”的问题。10.3胶囊网络工作原理10.2胶囊网络基本概念10.1胶囊网络起源第十章胶囊网络10.4胶囊网
5、络典型应用深度学习of209第十章胶囊网络of201010.3 胶囊网络工作原理 胶囊网络核心思想1l 所有胶囊检测到的特征的姿态等重要信息，都以向量的形式被胶囊封装。l 胶囊网络将空间信息编码为特征，同时也计算该特征的存在概率，再使用动态路由（dynamic routing）算法将较为底层的特征传递到与之匹配的高层。l 通过用一个向量来表示一个胶囊，向量的模表示特征存在的概率，向量的方向表示特征的姿态信息。l 每个胶囊的输入和输出都是向量，每个胶囊代表了被处理对象的一种属性，胶囊的向量值对应该属性的值。l 通过重现它检测到的对象，将重现结果与训练数据中的标记示例进行比较来学习如何预测，通过反
6、复地学习，它可以实现较为准确的特征姿态参数预测。第十章胶囊网络of201110.3 胶囊网络工作原理 胶囊网络工作过程2胶囊网络的工作过程包括如下三个部分：输入向量的矩阵乘法输入向量的加权求和12向量非线性化后输出3第十章胶囊网络of201210.3 胶囊网络工作原理 胶囊网络工作过程2输入向量 向量与矩阵之积 向量的标量加权 向量之和 向量的非线性变换输出1 1）输入向量的矩阵乘法输入向量的矩阵乘法 将输入向量乘以相应的权重矩阵W，W编码了层特征（如眼睛、嘴巴和鼻子）和高层特征（面部）之间的某种关系。-第十章胶囊网络of201310.3 胶囊网络工作原理2 2）输入向量的标量权输入向量的标量
7、权求和求和图中只展示了 u1 的连接。这也就是说，目前已经有了 u1 这个特征（假设是羽毛），那么我想知道它属于上层特征 v1,v2,v3,v4（假设分别代表了鸡、鸭、鱼、狗）中的哪一个。c11c12c14c13c21c41c31分类问题就是内积后 softmaxsoftmax 。于是单靠 u1 这个特征，我们推导出它是属于鸡、鸭、鱼、狗的概率分别是：i=1,2,3,4.第十章胶囊网络of201410.3 胶囊网络工作原理3)“3)“压缩压缩”：新颖的向量到向量非线性变换：新颖的向量到向量非线性变换输出输出分类问题就是内积后 softmax。于是单靠 u1 这个特征，我们推导出它是属于鸡、鸭、
8、鱼、狗的概率是：定义：Capsule 的核心思想就是输出是输入的某种聚类结果。第十章胶囊网络of201510.3 胶囊网络工作原理 囊间动态路由算法3 囊间动态路由算法是一种迭代算法，主要用于连接胶囊网络各层之间的权值C。其中，squash函数类似于sigmoid函数，它的功能是将向量压缩到区间0，1。囊间动态路由算法迭代r次：10.3胶囊网络工作原理10.4胶囊网络典型应用10.2胶囊网络基本概念10.1胶囊网络起源第十章胶囊网络深度学习of2016第十章胶囊网络of201710.4 胶囊网络典型应用 MNIST数字图像识别l 由编码器和解码器组成。l 编码器由三层构成，包括：卷积层（Con
9、v Layer）、下级胶囊层（PrimaryCaps）、上级胶囊层（DigitCaps）。l 解码器是一个前馈网络。（1）MNIST数字图像识别模型结构MNIST数字图像识别模型第十章胶囊网络of201810.4 胶囊网络典型应用第一层 卷积层l 输入：28x28图像（单色）l 输出：20 x20 x256张量l 参数：20992(卷积层中的每个卷积核有1个偏置项，(9x9+1)x256=20992)（2）模型编码器结构第二层 下级胶囊层l 输入：20 x20 x256张量l 输出：6x6x8x32张量l 参数：5308672第三层 上级胶囊层层（分类层）l 输入：6x6x8x32张量l 输出：16x10矩阵l 参数：1497600 第十章胶囊网络of201910.4 胶囊网络典型应用（3）MNIST数字图像识别过程感谢聆听
