CS231N lecture7 notes

- convolutional layer

第一个卷积层重构了x,x,3的图像为y,y,z, 再把yyz

padding 保持图片的空间大小不变，否则会越变越小。

filter的个数，padding（一般用0）是超参数。

PPT里面有个summary。

有时候会做 1x1的卷积：因为这时是在depth的方向上做卷积，所以这时候仍然是有意义的。

有同学问到为什么滤波器边长总是odd：一般最小的是3，因为有左右方向。

 深度可以远远大于边长。

为什么padding 0：因为这是指考虑了输入数据，0不会对输出有贡献。

总是处理正方形图像的。

kernel and filter是相同的。

从神经元的角度理解conv layer: 一个activation map 中的一个点就相当于一个神经元，它的receptive field就是滤波器大小，对应着输入图片的中和滤波器同样大小的区域。并且一个activation map里的神经元都有着相同的权重。 共享参数，local connectivity。多个filter都是以前两个特点进行的。不要全局链接，因为参数多。

- Pooling layer

在每个activation map里下采样，减小尺寸，

max pooling(common),  average pooling

扔掉了空间信息

- FC Layer

就是一个神经元，计算结果就是。

AlexNET有些实现细节，dropout只在FC用。

卷积层反向传播的时候需要注意what？

每一conv层，Fc层都都有一个relu层。