pytorch CrossEntropyLoss 的数值稳定性问题

来源:互联网 发布:python 条件循环 编辑:程序博客网 时间:2024/06/01 19:06

手写了一个带 maskCrossEntropyLoss, 分为了 softmax, lognllloss 三个步骤。
先 softmax, 再log + nllloss出现inf, 先 log_softmax, 再nllloss就可以了。