DL参数调整经验
来源:互联网 发布:万能电视遥控器软件 编辑:程序博客网 时间:2024/05/29 08:11
看了各位老大的评论收益很多。从我个人的经验来说,提出几点总结:
1.样本要多,其中人数要在12000人以上,最好有2000-3000个东方人,每个人的样本数量要均衡,不均衡就用各种随机的图像处理算法去生成,别怕麻烦
2.batchnorm一定要加,而且不要相信论文里说的可以去掉dropout或减小weight_decay,batchnorm的抗过拟合能力实际上是不足的,所以dropout建议设在60%以上
3.处理样本用的人脸检测算法非常重要,关键点检测算法次之,因为前者是后者存在的基础,总之,尽可能对齐更多的脸。
4.度量学习是必要的,但是千万不要重头训练,要在现有模型上加上embedding层进行微调训练,这一层的学习率要是前面层次的10-30倍不等,但总学习率要小,当然每个模型情况不同。
5.triplet loss有先天的弊端,但是大家可以去尝试其它几种度量学习啊,你们懂得......。
7.如果你想在lfw上一决高下,多个网络共同决策是必要的,可以在脸上切子区域,也可以同一数据集不同网络,也可以不同数据集不同网络,要试验再试验。
6.lfw99.5%不是梦想,大家努力.
1.样本要多,其中人数要在12000人以上,最好有2000-3000个东方人,每个人的样本数量要均衡,不均衡就用各种随机的图像处理算法去生成,别怕麻烦
2.batchnorm一定要加,而且不要相信论文里说的可以去掉dropout或减小weight_decay,batchnorm的抗过拟合能力实际上是不足的,所以dropout建议设在60%以上
3.处理样本用的人脸检测算法非常重要,关键点检测算法次之,因为前者是后者存在的基础,总之,尽可能对齐更多的脸。
4.度量学习是必要的,但是千万不要重头训练,要在现有模型上加上embedding层进行微调训练,这一层的学习率要是前面层次的10-30倍不等,但总学习率要小,当然每个模型情况不同。
5.triplet loss有先天的弊端,但是大家可以去尝试其它几种度量学习啊,你们懂得......。
7.如果你想在lfw上一决高下,多个网络共同决策是必要的,可以在脸上切子区域,也可以同一数据集不同网络,也可以不同数据集不同网络,要试验再试验。
6.lfw99.5%不是梦想,大家努力.
作者:高志鹏
链接:https://www.zhihu.com/question/38937343/answer/126539792
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
阅读全文
0 0
- DL参数调整经验
- JVM参数调整,经验分享,转载自撒迦
- dl
- DL
- DL
- dl
- MySQL参数调整
- oracle参数调整
- 调整硬盘参数
- RAC参数细节调整
- SYBASE 系统参数调整
- AIX stack参数调整
- RAC 数据库参数调整
- 调整volume的参数
- SYBASE 系统参数调整
- 调整音频参数
- DB2 参数调整
- linux系统参数调整
- eclipse中修改java web项目的名称
- iOS Android BLE传输速度和蓝牙模块实测(进行中...)
- jsPlumb小Demo
- eclipse中 使用mybatis generator自动生成代码 错误
- 从零开始搭建自己的VueJS2.0+ElementUI单页面网站(一、环境搭建)
- DL参数调整经验
- CCS6 postbuild 设置
- 关于callee含义
- .net core + vue开发单页应用(二)
- 深度学习入门(三) 深度学习与计算机视觉
- 部分前端相关知识
- docker的安装与使用
- DonMin-2017-5-25-day02
- [RK3288][Android6.0] 调试笔记 --- 屏蔽系统下拉菜单显示