CNN卷积神经网络的理解

        机器学习的两大部分：浅层学习（shallow learning）和深度学习（deep learning），两者的主要区别是：浅层学习（如SVM、BP、AdaBoost等）的输入都是人工规则提取的特征；而深度学习是用CNN提取深层次的特征，然后将这些特征作为分类器（如SVM、BP、AdaBoost等）的输入。

    深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。（引用）
    区别于传统的浅层学习，深度学习的不同在于： 1）强调了模型结构的深度，通常有 5层、 6 层，甚至 10 多层的隐层节点； 2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。（引用）
        卷积神经网络中卷积的含义：卷积是一种积分运算，从输入信号类型的角度，卷积运算分连续的和离散的，比如连续的电信号f(t)脉冲，对其求卷积即是对电信号脉冲不同时刻f(t)作用于系统产生的响应进行累加，由于电信号是连续的，因此就是积分运算,积分的结果就是电信号不同时刻的点产生的响应之和，当然离现在越远的时刻的点对积分结果的贡献越小，是一种加权求和的思想；而图像数是离散的,对图像卷积运算就是sigama求和；从输入信号作用域来看，卷积运算分时域和空域的，比如电流脉冲是与时间相关的函数，而图像只是在空间分布，且图像是离散的数据，对图像进行卷积运算就是对各个像素点的加权求和，而不同位置的加权值组成的矩阵就是卷积核，也叫卷积算子，在卷积神经网络中也叫滤波器；

        在图像处理中，几乎到处都要用到卷积运算，比如求图像的倒数需要微分算子（比如常见的sobel算子），直观上就是得到图像的边缘特征，这里的算子就是卷积核；还有对图像的各种形态学操作（开运算、闭运算、膨胀、腐蚀、形态学梯度等等），用到的算子其实都是卷积核，是一个东西，只是叫法不一样；因此，可以说卷积运算是图像的基本运算，任何对图像复杂的处理操作都是在卷积运算的基础之上。

      离散型输入的卷积公式:R(u，v)=∑∑G(u-i，v-j)f(i，j) ，其中f为输入，G为卷积核。

       事实上，在卷积神经网络中，卷积核中每个元素的值就是卷积神经网络的权值。在每一个卷积层，对图像的卷积运算实际上是在求每个神经元的输出（只不过卷积的结果加上了偏置，又经过了激活函数），一个卷积核对应一个神经元，一幅图像被同一种卷积核在不同区域多次作用后就得到一个特征平面（feature map）（这其实就是权值共享的本质，同一种卷积核自然权值都一样）,事实上特征平面是由带着一簇簇权值的神经元组成，想想那个画面就像是许多章鱼举着触角一排排摆在了一起，而且每个章鱼的触角都是相同的（但这并不代表对一个章鱼来说，它所有的触角是相同的）；这时候你可能有疑问，既然相同卷积核那神经元的输出不就一样了？事实上虽然卷积核相同，但由于作用于图像不同的区域（这其实就是局部感知的思想），因此输出是不同的，即每个神经元输出的响应是不一样的，这些神经元放在一起就得到了图像的一个特征向量或feature map；如果我们采用不同的卷积核对图像进行卷积运算，自然就可以得到不同的特征平面。由于采取了局部感知、权值共享的策略（该策略参考于人脑的视觉系统），有效减少了待确定参数（权值）个数。

        那卷积核如何才能确定呢？事实上确定卷积核的过程就是求取参数（权值）的过程，即是对神经网络进行训练的过程。

         那如何对卷积神经网络进行训练呢？即如何让卷积神经网络自动提取特征呢？这个问题困扰了研究者很久，直到生物学上对脑神经研究的发现给了研究者启发之后，一些研究者相继研究，不断站在前人的肩膀上，直到Hinton及其研究者发表了一篇文章提出了逐层训练权值的方式，开启了对卷积神经网络研究的热潮。近十年，卷积神经网络发展迅速，从最初的RCNN，到fast-RCNN、faster-RCNN、yolo、SSD等。对于训练的过程，可以先从最基本的训练算法了解，比如自动编码算法，是对卷积层训练的一种算法，后来又有稀疏自动编码器算法等。具体训练过程参考（

http://ufldl.stanford.edu/wiki/index.php/%E8%87%AA%E7%BC%96%E7%A0%81%E7%AE%97%E6%B3%95%E4%B8%8E%E7%A8%80%E7%96%8F%E6%80%A7）