caffe中在proto文件里定义网络各层结构

caffe中，网络结构是神经网络建模和计算的基本单元。而不同类型的层需要有不同的配置，因此对caffe中各个类型的层结构做一个总结。

• 网络训练和测试层

layer{  name:"data"  type: "HDF5Data"  top: "data"  top: "label"  include {    phase: TRAIN  }  hdf5_data_param {   source: "examples/model1/indian_pines_train.txt"    batch_size: 32    shuffle: true  }}layer {  name: "data"  type: "HDF5Data"  top: "data"  top: "label"  include {    phase: TEST  }  hdf5_data_param {    source: "examples/model1/indian_pines_test.txt"    batch_size: 6904  }}

其中type中需要说明训练和测试的数据类型，sorce说明数据的来源。batch_size为一次性输入的数据量。

• 卷积层（Convolution）

layer {  name: "conv1"  type: "Convolution"  bottom: "data"  top: "conv1"  param {    lr_mult: 1  }  param {    lr_mult: 2  }  convolution_param {    num_output: 20    kernel_size: 5    stride: 1    weight_filler {      type: "xavier"    }    bias_filler {      type: "constant"    }  }}

类型：Convolution。
num_output: 滤波器的数量。
kernel_size：每个滤波器的高度和宽度。
stride: 输入滤波器的间隔。
weight_filler：滤波器的初始分布和分布参数。
bias_filler：默认type：constant，value:0

• 池化层（Pooling）

layer {  name: "pool1"  type: "Pooling"  bottom: "conv1"  top: "pool1"  pooling_param {    pool: MAX    kernel_size: 2    stride: 2  }}

类型：Pooling
作用：合并相似的特征。
kernel_size：说明每个滤波器的宽度和高度。
pool：池化方法，有MAX，AVE，STOCHASTIC
stride：说明输入滤波器的间隔。

• 全连接层（Inner Product）

layer {  name: "ip1"  type: "InnerProduct"  bottom: "pool2"  top: "ip1"  param {    lr_mult: 1  }  param {    lr_mult: 2  }  inner_product_param {    num_output: 500    weight_filler {      type: "xavier"    }    bias_filler {      type: "constant"    }  }}

类型：InnerProduct
作用：将输入的数据以简单的向量形式进行处理，并且输出一个简单的向量。

• 激励层
  1.ReLU

layer {  name: "relu1"  type: "ReLU"  bottom: "ip1"  top: "ip1"}

类型：ReLU
为层内运算的一个层
可选参数negative_slope :[默认：0]指定如何去除负值。通过乘以一个斜率值(1)还是设置负数值为0(0)。

对于给定的一个输入值x，如果x > 0，ReLU层的输出为x，如果x < 0，ReLU层的输出为negative_slope * x。如果negative_slope参数没有设置，它就等价于标准ReLU函数：max(x,0)。它也支持原地计算，这意味着底层blob和顶层blob可以相同，以减少资源消耗。

2.Sigmoid

layer {  name: "encode1neuron"  bottom: "encode1"  top: "encode1neuron"  type: "Sigmoid"}

Sigmoid层对每个输入元素x计算其sigmoid(x)值作为输出。

• Concatenation

layer{   name:"out2"   type:"Concat"   bottom: "Wrand1"   bottom:"Wrand2"   bottom:"W3"   top:"out2"   concat_param {    axis: 1  }}

Concat层将串连多个输入blob，成为一个单一的输出blob。

• Dropout

layer{   name:"drop3"   type:"Dropout"   bottom:"U3"   top:"U3"   dropout_param{   dropout_ratio:0.1  }}

在Dropout层中，momentum一般要设置为095-0.99之间，需要设置更高的学习速率，网络的训练时间会更长。

• BatchNormalization

 layer{   name:"bn2"   type:"BatchNorm"   bottom:"out2"   top:"bn2"}

• Accuracy

layer {  name: "accuracy"  type: "Accuracy"  bottom: "Y"  bottom:"label"  top: "accuracy"  include {    phase: TEST  }}

• Softmax

layer {  name: "loss"  type: "SoftmaxWithLoss"  bottom: "Y"  bottom:"label"  top: "loss"}

我目前就接触到了这么多的层，算是比较入门级的了，其它更深的理解和层后面再补充。
参考博文
这里写链接内容