caffe设置正则化项

来源:互联网 发布:lamp一键安装包ubuntu 编辑:程序博客网 时间:2024/06/03 14:24

今天想在网络中设置一下正则化项,百度了好久,发现caffe中的正则化情况如下:

caffe提供了两种正则化,L1和L2,其中L2正则化项是默认存在的,在caffe.proto中可以找到,如下

// regularization types supported: L1 and L2
  // controlled by weight_decay
  optional string regularization_type = 29 [default = "L2"];

说明caffe默认使用的是L2正则化

那么,我在solver文件中将它设为L1岂不就是L1正则化了。虽然我在网上没有直接的solver文件可以参考,不过试了试,确实是这样子,,,,具体就是在solver文件中加下面一句:

regularization_type: "L1"



还有个点是 weight_decay 是乘在正则化向前面,控制正则化项在损失函数中所占权重的。嗯,刚刚的收获差不多就这些

1 0
原创粉丝点击