caffe（2）配置文件.prototxt的理解

首先建立一个net，net有多层构成，层有不同的类型。网络结构定义在.prototxt文件中。下面详细介绍：

1. 数据层即输入层。在caffe中数据以blob的格式进行存储和传输，在这一层中是实现数据其他格式与blob之间的转换，例如从高效的数据库lmdb或者level-db转换为blob，也可以从低效的数据格式如hdf5或者图片。另外数据的预处理也在本层实现，如减去均值, 放大缩小, 裁剪和镜像等。以Lenet_train_test.prototxt为例：

name: "LeNet"layer {  name: "mnist"  type: "Data"  top: "data"  top: "label"  include {    phase: TRAIN  }  transform_param {    scale: 0.00390625  }  data_param {    source: "examples/mnist/mnist_train_lmdb"    batch_size: 64    backend: LMDB  }}

最上面name：网络名称，可自己定义。下面是数据层layer的定义

name： 可自己取

type：层的类型。如果是Data，表示数据来源于LevelDB或LMDB。根据数据的来源不同，数据层的类型也不同。

（1）Data：数据来源于LevelDB或者LMDB，必须设置batch_size。source为包含数据库的目录名称，如examples/mnist/mnist_train_lmdb

（2）MemoryData: 数据来源于内存，必须设置batch_size, channels, width, height.

layer {  top: "data"  top: "label"  name: "memory_data"  type: "MemoryData"  memory_data_param{    batch_size: 2    height: 100    width: 100    channels: 1  }  transform_param {    scale: 0.0078125    mean_file: "mean.proto"    mirror: false  }}

（3）HDF5Data: 数据来源于Hdf5， 必须设置batch_size和source，读取的文件名称

layer {  name: "data"  type: "HDF5Data"  top: "data"  top: "label"  hdf5_data_param {    source: "examples/hdf5_classification/data/train.txt"    batch_size: 10  }}

（4）ImageData: 数据来源于图片。必须设置的参数：

  source： 每一行是给定的图片路径和标签;

  batch_size

可选设置的参数为：

  rand_skip: 在开始的时候，路过某个数据的输入。通常对异步的SGD很有用。

  shuffle: 随机打乱顺序，默认值为false

  new_height,new_width: 如果设置，则将图片进行resize

layer {  name: "data"  type: "ImageData"  top: "data"  top: "label"  transform_param {    mirror: false    crop_size: 227    mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"  }  image_data_param {    source: "examples/_temp/file_list.txt"    batch_size: 50    new_height: 256    new_width: 256  }}

（5）WindowData： 来源于windows

layer {  name: "data"  type: "WindowData"  top: "data"  top: "label"  include {    phase: TRAIN  }  transform_param {    mirror: true    crop_size: 227    mean_file: "data/ilsvrc12/imagenet_mean.binaryproto"  }  window_data_param {    source: "examples/finetune_pascal_detection/window_file_2007_trainval.txt"    batch_size: 128    fg_threshold: 0.5    bg_threshold: 0.5    fg_fraction: 0.25    context_pad: 16    crop_mode: "warp"  }}

top：本层的输出，例子表明有两个输出，data和label是分类问题所必须的

bottom：本层的输入

include：在其中规定是训练还是测试的层。如果没有定义则表明训练和测试均有此层。如例，此层为训练层，有训练数据和标签

transform_param：数据预处理，scale表明对数据由0-255转换到了[0，1）。还可以进行如：mirror（1表示开启，0表示关闭）， mean_file_size（后面跟配置文件

mean.binaryproto， 进行去均值的处理），crop_size(剪裁，训练数据随机剪裁，测试数据从中间剪裁)

data_param:定义数据，source是数据路径;将全部的图片分为不同的批次batch，batch_size是一个批次包含的图片数目;backend表明所用的数据库

2. 视觉层，包括convolution卷积层, pooling池化层， Local Response Normalization (LRN)局部极大值抑制, im2col等层。

（1）层类型：Convolution，如lenet的第一个卷积层

layer {  name: "conv1"  type: "Convolution"  bottom: "data"  top: "conv1"  param {    lr_mult: 1  }  param {    lr_mult: 2  }  convolution_param {    num_output: 20    kernel_size: 5    stride: 1    weight_filler {      type: "xavier"    }    bias_filler {      type: "constant"    }  }}

lr_mult:第一个表示权重w的学习率的系数，学习率=base_lr（定义在solver.prototxt）×lr_mult， 第二个表示偏重bias的学习率系数

num_output: 卷积核kernel的个数

kernel_size： kernel的大小，如果卷积核的长和宽不等，需要用kernel_h和kernel_w分别设定

stride： 卷积运算的步长，默认为1。也可以用stride_h和stride_w来设置。

pad： 填充边缘的大小。如设置，可是得到的特征图与原图大小相等，pad_h和pad_w来分别设定

weight_filter: 权值初始化，若设置为constant, 则默认为0。也可使用"xavier"或者”gaussian"进行初始化

bias_filler： 偏置项的初始化，与weight_filter类似

bias_term： 是否开启偏置项（0或1）

group： 分组，默认为1组。如果大于1，我们限制卷积的连接操作在一个子集内。如果我们根据图像的通道来分组，那么第i个输出分组只能与第i个输入分组进行连接。

（2）层类型：pooling。

layer {  name: "pool1"  type: "Pooling"  bottom: "conv1"  top: "pool1"  pooling_param {    pool: MAX    kernel_size: 2    stride: 2  }}

必须设置的参数：　　
kernel_size: 池化的核大小。也可以用kernel_h和kernel_w分别设定。

其它参数：
　 pool: 池化方法，默认为MAX。目前可用的方法有MAX, AVE, 或STOCHASTIC
　　 pad: 和卷积层的pad的一样，进行边缘扩充。默认为0
　　 stride: 池化的步长，默认为1。一般我们设置为2，即不重叠。也可以用stride_h和stride_w来设置。

（3）层类型LRNlayers {  name: "norm1"  type: LRN  bottom: "pool1"  top: "norm1"  lrn_param {    local_size: 5    alpha: 0.0001    beta: 0.75  }}

local_size: 默认为5。如果是跨通道LRN，则表示求和的通道数；如果是在通道内LRN，则表示求和的正方形区域长度。

alpha: 默认为1，归一化公式中的参数。

beta: 默认为5，归一化公式中的参数。

norm_region: 默认为ACROSS_CHANNELS。有两个选择，ACROSS_CHANNELS表示在相邻的通道间求和归一化。

WITHIN_CHANNEL表示在一个通道内部特定的区域内进行求和归一化。与前面的local_size参数对应。

归一化公式为：除以
（4）层类型：img2col， 将一个大矩阵，重叠地划分为多个子矩阵，对每个子矩阵序列化成向量，最后得到另外一个矩阵。

在caffe中，卷积运算就是先对数据进行im2col操作，再进行内积运算（inner product)。这样做，比原始的卷积操作速度更快。

看看两种卷积操作的异同：
3. 激活层， 对输入数据进行激活操作，常用的激活函数有：SigmoidTanHAbsVal（Absolute Value）RELU（ReLU / Rectified-Linear and Leaky-ReLU）收敛速度最快。

layer {  name: "relu1"  type: "ReLU"  bottom: "ip1"  top: "ip1"}

RELU函数为：max(x, 0)

可选参数：

　　negative_slope：默认为0. 对标准的ReLU函数进行变化，如果设置了这个值，那么数据为负数时，就不再设置为0，而是用原始数据乘以negative_slope
Power：f(x)= (shift + scale * x) ^ power

layer {  name: "layer"  bottom: "in"  top: "out"  type: "Power"  power_param {    power: 2    scale: 1    shift: 0  }}

BNLL： binomial normal log likelihood

layer {  name: "layer"  bottom: "in"  top: "out"  type: “BNLL”}

4. 其他层：softmax_loss层，Inner Product层，accuracy层，reshape层和dropout层
（1）softmax_loss层

layer {  name: "loss"  type: "SoftmaxWithLoss"  bottom: "ip2"  bottom: "label"  top: "loss"}

（2）全连接层，把输入当作成一个向量，输出也是一个简单向量（把输入数据blobs的width和height全变为1）。

输入： n*c0*h*w

输出： n*c1*1*1

全连接层实际上也是一种卷积层，只是它的卷积核大小和原数据大小一致。因此它的参数基本和卷积层的参数一样。

layer {  name: "ip2"  type: "InnerProduct"  bottom: "ip1"  top: "ip2"  param {    lr_mult: 1  }  param {    lr_mult: 2  }  inner_product_param {    num_output: 10    weight_filler {      type: "xavier"    }    bias_filler {      type: "constant"    }  }}

（3）accuracy，只有测试阶段才有

layer {  name: "accuracy"  type: "Accuracy"  bottom: "ip2"  bottom: "label"  top: "accuracy"  include {    phase: TEST  }}

（4）Reshape层，改变数据维度

layer {    name: "reshape"    type: "Reshape"    bottom: "input"    top: "output"    reshape_param {      shape {        dim: 0  # copy the dimension from below        dim: 2        dim: 3        dim: -1 # infer it from the other dimensions      }    }  }

（5）Dropout层， 防止过拟合，可以随机让网络某些隐含层节点的权重不工作。

layer {  name: "drop7"  type: "Dropout"  bottom: "fc7-conv"  top: "fc7-conv"  dropout_param {    dropout_ratio: 0.5  }