3D CNN框架结构各层详细计算过程

2D CNN和3D CNN的区别

2D CNN：
利用2D CNN对视频进行操作，一般是对视频的每一帧图像分别利用CNN来进行识别，这种方式的识别不会考虑时间维度的帧间运动信息。以下是传统2D CNN对图像采用2D卷积核进行操作的示意图：

3D CNN：
使用3D CNN能更好的捕获视频中的时间和空间的特征信息，以下是3D CNN对图像序列（视频）采用3D卷积核进行卷积操作：

上面进行卷积操作的时间维度为3，即对连续的三帧图像进行卷积操作，上面的 3D卷积是通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积核。在这个结构中，卷积层中每一个特征map都会与上一层中多个邻近的连续帧相连，因此捕捉运动信息。例如上面左图，一个卷积map的某一位置的值是通过卷积上一层的三个连续的帧的同一个位置的局部感受野得到的。
需要注意的是：3D卷积核只能从cube中提取一种类型的特征，因为在整个cube中卷积核的权值都是一样的，也就是共享权值，都是同一个卷积核（图中同一个颜色的连接线表示相同的权值）。我们可以采用多种卷积核，以提取多种特征。

2D 与 3D 卷积操作

(a)和(b)分别为2D卷积用于单通道图像和多通道图像的情况（此处多通道图像可以指同一张图片的3个颜色通道，也指多张堆叠在一起的图片，即一小段视频），对于一个滤波器，输出为一张二维的特征图，多通道的信息被完全压缩了。
(c)中的3D卷积的输出仍然为3D的特征图。

现在考虑一个视频段输入，其大小为 c∗l∗h∗w ,其中c为图像通道(一般为3),l为视频序列的长度，h和w分别为视频的宽与高。进行一次kernel size为3∗3∗3,stride为1,padding=True,滤波器个数为K的3D 卷积后，输出的大小为K∗l∗h∗w。池化同理。

3D 卷积核参数的选择:

结果表面3∗3∗3大小的卷积核效果最好。

C3D network 结构

基于3D卷积操作，作者设计了如上图所示的C3D network结构。共有8次卷积操作，4次池化操作。其中卷积核的大小均为3∗3∗3，步长为1∗1∗1。池化核的大小为2∗2∗2,步长为2∗2∗2，但第一层池化除外，其大小和步长均为1∗2∗2。这是为了不过早缩减时序上的长度。最终网络在经过两次全连接层和softmax层后就得到了最终的输出结果。网络的输入尺寸为3∗16∗112∗112，即一次输入16帧图像。

实验结果

作者将C3D在行为识别、动作相似度标注、场景与物体识别这三个方向的数据库上进行了测试，均取得了不错的效果。注意以下结果均为当时情况下的比较（2015年）

行为识别-Action Recognition

行为识别用的数据库是UCF101,C3D+SVM的结果达到了85.2%。UCF101这个数据库目前为止（2017年3月）看到最高的结果已经达到了96%左右。

——未完待续