机器学习笔记二十二 卷积神经网络

一、 概念

卷积神经网络是一种前馈神经网络，人工神经元可以响应周围单元，可以进行图像处理。
卷积神经网络（Convolutional Neural Network,CNN）包括卷积层（alternating convolutional ayer）和池层（pooling layer）。

一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来。
其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。
特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。
此外，由于一个映射而上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。
（以上来自百度百科）

1. 神经网络

神经网络的每个单元如下：

其对应的公式如下：

hW,b(x)=f(WTx)=f(∑i=13Wixi+b)

其中，该单元也可以被称作是Logistic回归模型。当将多个单元组合起来并具有分层结构时，就形成了神经网络模型。下面展示了一个具有一个隐含层的神经网络。

其对应的公式：

神经网络的训练方法也同Logistic类似，不过由于其多层性，还需要利用链式求导法则对隐含层的节点进行求导，即梯度下降+链式求导法则，专业名称为反向传播。
（以上内容来源http://www.36dsj.com/archives/24006）

2. 卷积神经网络

局部感知
参数共享
多卷积核
Down-pooling
多层卷积

二、卷积神经网络能做哪些事情

人工智能目前研究方向占比：
计算机视觉 占60%多。

自然语言处理30%

语言处理，目前占比例比较小。

• 对图像理解
• 分类、检索、分割

对显卡的需求：
N卡

三、推导

卷积神经网络组成
- 输入层
- 卷积层
- 激活函数
- 池化层
- 全连接层

卷积是为了干什么？

卷积=内积+偏置项

池化层

**MaxPooling（（

卷积神经网络中最终得到的特征值往往是非常小的。

• 案例学习：AlexNet

• 案例学习：VGGNet