正则化在caffe中的设置

caffe提供了两种正则化：L1和L2

L2正则化项是默认的，在可以在caffe.proto中可以找到，如下：

说明caffe默认使用的是L2正则化

L1正则化：

具体就是在solver文件中加下面一句：

regularization_type: "L1"

还有个点是 weight_decay 是乘在正则化向前面，控制正则化项在损失函数中所占权重的。

L1和L2正则化的区别：

L2正则化：向目标函数中增加一个，其中是正则化强度。

L1正则化：对于每个我们都向目标函数增加一个。

    在实践中，如果不是特别关注某些明确的特征选择，一般说来L2正则化都会比L1正则化效果好。