caffe中cifar10的full_train模型出现nan的解决办法
来源:互联网 发布:凸优化理论 编辑:程序博客网 时间:2024/05/16 12:49
caffe在cifar10 的example上给出了两个模型,一个是quick模式,一个是full模式,训练full模式时会出现loss=nan的错误(当然不会报错,不过出现这个结果就是bug)
自己google了一下,在github上找到了原因跟解决方案,原来是作者把用在cuda-convnet的模型照搬过来了,在caffe上的模型应该去掉LRN层,所以解决的方法很简单:将网络结构中所有的归一化层全部去掉,并修改下一层的bottom参数,然后就不会出现loss=nan的错误了。
当然,如果自己做实验时出现loss=nan的问题时,我的一个解决办法是修改学习率,改的小一点就不会出现错误了。实在不行,就把里面的relu函数变为sigmoid试一试,代价就是训练速度会非常非常慢。
还有一个要检查的点就是要看一下网络的结构是否合理,我在网上下载的network in network的网络结构,最后一层竟然没有一层全连接把输出变为类别数,这让训练陷入了要么出现nan要么结果一直不变的bug境地。
0 0
- caffe中cifar10的full_train模型出现nan的解决办法
- caffe中cifar10的full_train模型出现nan的解决办法
- caffe中cifar10的full_train模型出现nan的解决办法
- TensorFlow中出现Nan值的解决办法
- Windows-Caffe Cifar10模型的生成
- Windows-Caffe Cifar10模型的生成
- caffe——cifar10模型训练自己的数据
- cifar10的模型测试
- Caffe中计算图像均值的实现(cifar10)
- caffe中出现loss等于nan
- 深度学习-CAFFE利用CIFAR10网络模型训练自己的图像数据获得模型-3结合caffe中的CIFAR10修改相关配置文件并训练
- ExtJs中处理时间,出现NaN-NaN-NaN的解决方式
- ExtJs中处理时间,出现NaN-NaN-NaN的解决方式
- 配置CIFAR10出现的错误
- caffe中 cifar10案例(一)训练模型
- caffe中 cifar10案例(二)使用模型
- caffe中 cifar10案例(三)模型可视化
- caffe-windows编译中出现的【error: MSB3721】解决办法
- 面向对象程序设计上机练习七(类和对象)
- WPF教程(五) XAML是什么?
- Spring MVC 之@ModelAttribute使用
- day21 XML
- hihoCoder #1135 : Magic Box
- caffe中cifar10的full_train模型出现nan的解决办法
- 基于快排的选择算法:返回数组中第k小的数
- c++中class和struct的区别
- Linux :: vi E212: Can't open file for writing
- 第六章 第八节 框架
- 决策树 bagging boosting 的区别
- 没有银弹
- Android中WebView使用,踩过的坑
- effective stl 第21条:总是让比较函数在等值情况下返回false