Dynamic Routing Between Capsules 深度学习新方向-胶囊

Dynamic RoutingBetween Capsules 

荚膜是一组神经元，其活动向量代表特定类型实体的实例化参数，如对象或对象部分。

我们使用的活动矢量长度表示实体的存在和它的方向代表实例化参数的概率。一级的活性胶囊通过变换矩阵预测更高级别胶囊的实例化参数。

当多个预测一致时，一个更高水平的胶囊变得活跃。

我们发现，discrimininatively训练多层胶囊系统达到了国家的最先进的性能在MNIST是大大优于卷积网络识别高度重叠的数字。

为了实现这些结果，我们采用了一种基于协议机制的迭代路由算法：较低级别的胶囊更倾向于将其输出发送到更高水平的胶囊，其活性向量有一个大的标量产物，而来自低层胶囊的预测。

人类视觉通过仔细确定的固定点来忽略不相干的细节，以确保只有一小部分的光学阵列在最高分辨率下被处理。反思是一个贫穷的理解多少我们的场景知识引导来自固定的序列，我们如何从一个单一的固定，但在本文中，我们将假设一个固定给我们的不仅仅是一个单一的识别对象及其属性。我们假设我们的多层视觉系统会产生某种解析树在每个固定，我们将忽略这些单一固定的语法分析树是协调多个固定的问题。语法树上飞了一般通过动态分配内存，但以下Hinton等人。[ 2000a ]，我们假设，一个单一的固定的，解析树上刻出一个固定的多层神经网络就像一个雕塑是从一个岩石雕刻。每一层都被分成许多小神经元组被称为“胶囊”（Hinton et al.。[ 2011 ]和解析树中的每个节点对应一个活动的胶囊。使用一个迭代路由过程，每个活动胶囊将选择一个胶囊在上面的层是它的父母在树上。对于一个视觉系统更高水平，这种迭代过程将解决分配部分的整体问题。活动胶囊内的神经元的活动代表了图像中存在的特定实体的各种属性。这些属性可以包括许多不同类型的实例化参数，如姿态（位置、大小、方向）、变形、速度、反照率、色调、纹理等，其中一个非常特殊的特性是图像中实例化实体的存在。代表存在的一个明显方法是使用一个独立的逻辑单元，它的输出是实体存在的概率。在本文中，我们探讨一个有趣的选择是使用实例化参数向量的总长度为代表的实体的存在和力的方向第三十一神经信息处理系统会议（注2017），长滩，CA，美国1710.09829v1 arXiv：[ CS。CV ] 26日2017的向量为代表的entity1性能。我们确保一个胶囊的矢量输出的长度不能超过1，通过施加非线性，使矢量的方向保持不变，但降低其幅度。事实上，胶囊的输出是一个向量，因此可以使用强大的动态路由机制来确保胶囊的输出被发送到上述层的适当父层。最初，输出被路由到所有可能的父级，但通过将系数相加为1而缩减。对于每一个可能的父节点，该胶囊通过将自己的输出乘以一个权矩阵来计算一个“预测向量”。如果这个预测向量有一个大的标量积与一个可能的父的输出，有自上而下的反馈，它的效果是增加的耦合系数，为父母和减少它为其他父母。这增加了胶囊对母体的贡献，从而进一步增加了胶囊的预测与母体产量的标量乘积。这种“按协议路由”应该比MAX池实现的非常原始的路由更有效，它允许一层中的神经元忽略下面层中本地池中最活跃的特性检测器。我们证明了我们的动态路由机制是实现对高度重叠对象进行分割所需的“解释”的有效途径。卷积神经网络（CNN）使用复制功能的探测器和翻译学这让他们翻译好的权重值，获得在某一位置的图像中的其他位置的知识。这在图像判读中非常有用。即使我们是代替标量输出特征检测器的输出向量胶囊和最大池与路由协议CNN，我们仍想复制知识跨越空间，所以我们让所有但胶囊的最后一层是卷积。和CNNs一样，我们做更高级别的图像胶囊覆盖较大的区域，但与最大池我们不扔掉关于实体的精确位置信息的区域内。对于低水平胶囊，位置信息是“位置编码”，其中胶囊是活跃的。当我们提升层次结构时，越来越多的位置信息在胶囊的输出向量的实值分量中被“速率编码”。从位置编码到速率编码，再加上高层次的胶囊代表更多自由度的复杂实体的事实，表明胶囊的维数应该随着我们的增加而增加。

论文：https://arxiv.org/pdf/1710.09829.pdf

浅析：http://tech.ifeng.com/a/20170923/44695538_0.shtml