CNN怎么调参数?
来源:互联网 发布:java base64编码 解码 编辑:程序博客网 时间:2024/03/29 13:47
- 收集高质量标注数据。
- 输入输出数据做好归一化,以防出现数值问题。方法就是主成分分析啥的。
- 参数初始化很重要。太小了,参数根本走不动。一般权重参数0.01均方差,0均值的高斯分布是万能的,不行就试更大的。偏差参数全0即可。
- 用SGD ,minibatch size 128。或者更小size ,但那样吞吐量变小,计算效率变低。
- 用带momentum的SGD,二阶方法不用也罢。
- 梯度更新的步长很重要。一般0.1是个万能数值。调参可改进结果,具体做法是人肉监督:用另外的验证集观察测试错误率,一旦不降了,步长减半甚至更多。
- 梯度归一化:除以minibatch size ,这样就不显式依赖minibatch size
- 限制权重参数的最大值防止跑飞。一般最大行范数不超过2或者4,否则同比收缩到这个值。
- 梯度大致应该总是只改变参数的千分之一,偏离这个数字太远的,调之。
- dropout一定要用
- relu一定要用
用过这些了还不行,只好反省人品了...
原答案分割线
授人以鱼不如授人与渔。cnn调参,最好的参考论文就是那篇nips2012用cnn做imagenet的,没有之一。dropout那篇文章可作为最佳补充。
阅读全文
0 0
- CNN怎么调参数?
- CNN参数
- cnn常用参数记录
- CNN减少参数的方法
- CNN中参数计算公式
- 【深度学习-CNN】CNN中的参数与计算量
- 斯坦福CS231n - CNN for Visual Recognition(8)-lecture6学习率更新、超参数调优
- 卷积神经网络(CNN)的参数优化方法
- 卷积神经网络(CNN)的参数优化方法
- python查看CNN训练模型参数
- 卷积神经网络(CNN)的参数优化方法
- CNN反向传播训练参数过程
- cnn 调参经验
- cnn 调参经验。
- CNN调参与参考资料
- CNN调参指导
- CNN调参笔记
- 控件怎么作为参数
- Android系统架构和四大组件简述
- Android权限 分类记录
- 51例程---字模
- 跳转系统相机和相册
- android文件存储
- CNN怎么调参数?
- 关于JDK9新特性
- 数据结构和算法学习01-数据结构和算法简介
- 继承、多态、接口
- 拷贝
- ConcurrentHashMap
- ios-framework的制作
- ZOJ 3981 Balloon Robot
- 凸函数及凸集的相关概念