Tensorflow中用VGG19做二分类loss出现0.693174解决方法2

来源:互联网 发布:matlab mac 2015b 编辑:程序博客网 时间:2024/06/05 23:03

接上次相同题目的blog,发现权重加了l2正则化后,开始的loss很大,逐渐收敛到0.693174后不变……


在Tensorflow下用VGG19 pre-train的model跑一个人脸表情库,做一个二分类。
出现loss除了迭代的第一个值,其余输出均是0.693174
我用的梯度下降算法是Adam


解决方法:
将梯度下降算法改为SGD+Momentum(0.9)
开始时loss在0.693174上下浮动,随着迭代次数增多,loss逐渐收敛。

另外:对于分类问题,通常用SGD+Momentum做梯度下降效果要比Adam好

原创粉丝点击