理解交叉熵

来源:互联网 发布:淘宝ka商家标准 编辑:程序博客网 时间:2024/06/07 07:03

交叉熵公式

H(p,q)=\sum_{i}^{} p(i)*log\frac{1}{q(i)}

交叉熵是用于度量两个分部距离的

如度量两片文章相似度时,i代表第i个单词,p(i)代表这个单词出现频率

如将其作为神经网络误差函数时(对应一个神经元)


y为预测值,a为实际输出值,参考逻辑回归损失函数

0 0
原创粉丝点击