language model perplexity计算

来源:互联网 发布:淘宝信用贷款怎么开通 编辑:程序博客网 时间:2024/05/21 11:09

在lm中需要计算模型在test data的Perplexity,

pp = 10^(log(prop)/word);

其中 prop为所有sentence的概率的乘积,word为词的数目