unigrams,bigrams,trigrams

来源:互联网 发布:java开发知识 编辑:程序博客网 时间:2024/06/15 20:35

unigrams一元语法

bigrams二元语法

trigrams三元语法

ngrams第N个词的出现只与前面N-1个词相关,而与其它任何词都不相关,整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。

参考自然语言处理中的N-Gram模型详解