caffe的regularization

为了防止过拟合：

caffe提供了两种正则化，L1和L2，其中L2正则化项是默认存在的，在caffe.proto中可以找到。

说明caffe默认使用的是L2正则化

那么，在solver文件中将它设为L1岂不就是L1正则化了，具体就是在solver文件中加下面一句：

regularization_type: "L1"

还有个点是 weight_decay 是乘在正则化向前面，控制正则化项在损失函数中所占权重的。