tensorflow训练出现nan的讨论

tensorflow训练神经网络的时候,初学者往往也会遇到网络崩溃的情况.具体的表现是,出现了nan(not a number).
这个情况一般是由于进行交叉熵运算时,出现了log(0).

crossentropy=−1n∑nylabel⋅log(ypred)

显然,当正确的类别的预测概率十分低的时候,softmax的指数放大,将会导致ypred变成0.

---

解决办法有很多种.

---

1.截断clip

强制让概率大于一个eps,方法有多种

eps = 1e-10y_clip = tf.clip_by_value(y_pred, eps, 1.0-eps)#y_clip = tf.clip_by_value(y_pred, eps, 1.0)#y_clip = y_pred + epsloss = -tf.reduce_mean(tf.reduce_sum(y_label*tf.log(y_clip),reduction_indices=[1]))

这种做法能避免log(0)的产生.

2.log softmax

我们可以使用数值计算的思想,通过恒等变换去尽量避免数据的精度丢失.
log(ypred)实际上可以看成是网络输出接连通过softmax和log这两个算符的过程.

log(ypred)===log(ek∑ei)log(ek)−log(∑ei)k−log(∑ei)

这样的变换避免了softmax中那一步危险的除法,tensorflow中有一个函数实现了这个过程

y_ls = tf.nn.log_softmax(y_pred)loss = -tf.reduce_mean(tf.reduce_sum(y_label*y_ls,reduction_indices=[1]))

注意,这样做的话,网络的最后一层就不需要有激活函数了.

3.softmax_cross_entropy_with_logits

tensorflow的开发人员专门开发了一个API去解决这个问题.

loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=y_pred,labels=y_label))

这个函数会对ypred进行softmax操作,然后计算每一个记录的交叉熵.因此,我们还需要reduce_mean去得到总的交叉熵.

注意,这里同样,网络的最后一层不需要有激活函数.
初学者常犯的错误是,网络进行了softmax,再使用softmax_cross_entropy_with_logits去计算交叉熵,得出的loss是错的,并且可能会导致无法训练.