Cross Entropy and Perplexity in NLP

来源:互联网 发布:seo和sem的区别 编辑:程序博客网 时间:2024/04/30 20:58

如果一个随机变量 X~p(x), q(x) 为用于近似p(x)的概率分布,那么随机变量p和模型q的交叉熵定义为:

H(X,q) = H(X) + D(p||q) = -/sigma_{x}p(x)log q(x),