Network in Network 学习笔记

前言：

     本论文主要对卷积层（convolution layer）和全连接层（fully connected layer）进行改进。

     并对改进结果用CIFAR-10 ， CIFAR-100 ， SVHN  和 MNIST 四个训练集实验并对比出结果。

一、 卷积层的改进——多层感知卷积器（MLP Convolution Layers）

    GLM（广义线性模型）：传统CNN中的卷积层，其实是用线性滤波器对图像进行内机运算，在每个局部输出后面跟着一个非线性的激活函数，最终得到的叫做特征图（feature maps）

    GLM的抽象能力比较弱。

    抽象：指得到对同一个概念的不同变体保持不变的特征。

     MLP：多层感知器

     优点：

              1、多层感知器（MLP）也是使用BP算法进行训练，和CNN可以进行整合。

              2、多层感知器可以作为一个深层结构，包含了特征重用思想。

    传统CNN特征图计算公式：

    使用多层感知卷积器后的特征图推导公式：

二、对全连接层进行改进——全局平均池化（Global Average Pooling）

     全连接层缺点：更容易过拟合（overfitting）

     引申：Dropout概念由Hinton等人提出，有效改善泛化能力和减少过拟合。

    目的：为了使最后一个多层感知卷积获得每一个特征图能够对应一个输出类别。

    优点：

             1、使用全局平均池化能够强化特征图与类别的关系。

             2、全局平均池化没有参数需要优化，因为可以避免在这一层出现过拟合（overfitting）。

    过程：对每一个特征图求初平均数，然后将这些平均数组成一个特征向量，输入到softmax层中。

三、Network in Network

     结构：三个多层感知卷机层，一个全局平局池化层。

四、实验结构与对比

    训练集：CIFAR-10 ， CIFAR-100 ， SVHN  和 MNIST

    结果：