最大熵工具遇到的问题

来源:互联网 发布:c语言素数函数根号 编辑:程序博客网 时间:2024/06/07 06:14

最近使用张乐博士的最大熵工具

由于语料大部分用perl处理,回车换行是 13 10

使用张乐博士最大熵工具时(2004年12月29日版)总会报错

方法是:去掉13,只有10。

从网上下载的解码工具,对于长句子会出现乱码,所以一般要把句子缩短再测试


在windows服务器上最大熵能处理约630万特征,即3-4个月的人民日报。

再大则程序崩溃。

正在找问题原因


对1个月-12个月的语料分词,居然出现了EE,BB这种现象

原创粉丝点击