哈工大LTP和中科院NLPIR中文分词比较

来源：互联网发布：淘宝数据魔方有用吗编辑：程序博客网时间：2024/05/16 09:50

个人实验总结，仅供参考。

1.LTP有自动分句功能，NLPIR没有分句功能；

LTP的分句是根据中文标点里的句号、问号、感叹号、分号、省略号。

2.NLPIR分词有两种方式，分词结果完全一致。
（1）利用分词函数NLPIR_ParagraphProcess；
（2）利用NLPIR_FileProcess对整个文本进行分词。
其中第（2）种有时候会出现bug，分词进行到文本某一处时会进行不下去。

3.LTP有在线API和本地两种：
（1）在线API受限于URI构造规则，不能提交一些特殊字符（如#、&、+、换行符、英文分号等），而且存在极少数未知的组合bug（比如and和in居然不能同时提交）；

（2）本地LTP在分词时则不受上述限制。

符号

问题

换行符

程序直接报错

会影响句子处理（句子会被截断）

英文分号;

会影响句子处理（句子会被截断）

会影响句子处理（程序直接报错，如“C#”）

会被系统删除（如“互联网+”、“C++”）

基于上述原因，调用在线API分词和本地分词两种方式的分词结果会有差异，而且除了上述特殊字符引起的差异外，还会有其他一些极少数差异。

差异统计：3000个句子，有40句存在分词差异。
“+”引起：21句
“#”引起：2句
其他：17句

LTP本地

LTP在线

LTP本地

LTP在线

异常点

多年

不好的

过关

书挺不错的

白学了

很快

就此

赶上

网络类的图书

初学者

缺失

上述例子并不绝对，在有些句子里，在线切分也能够将“初学者”切分出来，而本地切分却会将其切分成“初”“学者”。

4.用户词典：
（1）NLPIR分词时将优先使用用户词典；
（2）LTP用户词典：官方补充说“LTP的分词模块并非采用词典匹配的策略，外部词典以特征方式加入机器学习算法，并不能保证所有的词都是按照词典里的方式进行切分”；
所以LTP有些词加入用户词典也无效，比如“C++”、“C#”、“互联网+”。

5.哈工大LTP与中科院NLPIR分词差异

试验了3000句，去除哈工大停用词后有31259个词，其中1505句分词结果完全一样。

注意：列表只是给出一些词在某些句子里的切分情况，并不表示在所有句子里都是这样切分。在有些情况下，哈工大和中科院的切分方法甚至会反过来。

整体上感觉中科院NLPIR在很多词上更倾向于分得更小。

下表给出了导致不一致的一些分词：

哈工大LTP分词

中科院NLPIR分词

正在

给力

不用说

有点

翻译家

一大堆话

只有

字字千金

网络类

不过

楼主

看起来

大牛

免邮费

赞赞赞

初学者

这本书

难看懂

只能

有人说

难懂

有些

真的

还是

以前

实体书

有些

不错

说是很不错

是否对味口

书摸起来的质感

与时俱进

就是

错版

来入门的话

经典之作

膜拜

不好

你们

离不开

很多

知易行难

实乃

倾情

有着

有点

很多

高管

一下

延展

但是

亚马逊

就是

图灵图书

安卓

进阶

例程

入门书

最好

还有

心痛

会上瘾

上来

实用性

原书

没得说么就是好

源码

跟着

一部分

说说

太坑了

入门者

不怎么样

开发者

本书

无需多说

正版书

一本完完全全的入门书

微博

一页纸

中文字

没有

有点取宠之嫌

禅意

炫技

未曾

可是

更新

菜鸟

书挺不错的

后端

早就

再说吧

看看

不行

很快

只是

九流

若是

名头

书香味

知识点

个人

当作参考书用

逻辑思维

到货

污损

之前

一点点

完虐

晒图

没法

一起

第几

在线

不能

右下角

电商

支付宝

物联网

难得一见

睁眼瞎

1 0