Caffe学习笔记

CNN基础理论

基础结构单元

1. 全连接层

（1）何谓“全”？

（2）前向运算？

（3）反向传播？

2. 卷积层与反卷积层

2.1 卷积层

（1）2D卷积的数学形式：

连续卷积？

离散卷积？

Caffe实现？

（2）神经元之间的连接方式？

（3）何谓权值共享？

（4）Caffe中多通道卷积的快速实现？

2.2 反卷积层

（1）卷积的逆过程，实现信号复原

（2）全卷积网络（FCN），反卷积层实现上采样

3. 池化层

（1）有哪几种方式？

（2）作用？

（3）位置？

4. Dropout层

（1）在哪个阶段起作用？

（2）作用？

5. Batch Normalization

（1）作用

 激活函数

（1）种类？

（2）位置？

（3）作用？

损失函数

（1）种类

（2）特点及应用场景

经典网络

1. 单层感知机

（1）线性模型及缺点

2. 多层感知机、卷积网络

（1）error梯度反向传播

（2）非线性激活函数

（3）缺点

3. DBM DBN DAE

（1）无监督学习

（2）分层预训练

网络训练

1. BP算法

（1）caffe中每一层是怎么进行链式求导、梯度反向传播的？

2. GD算法

（1）GD、SGD缺点

（2）Mini batch SGD

3.几个参数

     3.1权重衰减参数lambda

     3.2动量参数momentum

     3.3 学习率

（1）可以设置成哪几种？

理论问题

梯度弥散

（1）产生原因？从数学角度理解？

（2）解决方法？LSTM、Layer wise Pre train（无监督数据逐层预训练，有监督数据fine-tune ）、ReLU、辅助损失函数、BN（逐层尺度归一化）