语言模型

1.n元语法

2.语言模型的性能评价

交叉熵：

测试集概率表示：

计算交叉熵H(T):

(用均匀分布近似进行逼近计算，带入上面公式)

3.数据平滑

3.1加法平滑

3.2古德图灵计算法

3.3Jelinek-Mercer平滑方法

最大似然一元模型：

将二元文法模型和一元文法模型进行线性差值：

出处：

《自然语言处理》宗成庆