stanford segmenter加入自定义用户词典

来源:互联网 发布:网络兼职打码员 编辑:程序博客网 时间:2024/06/06 12:28
用stanford segmenter在命令行的方式下对一个文本文件的句子进行分词处理,其中输入文件为:preprocess-$1.txt,输出文件为:$1_seged.txt,命令如下所示:

java -mx1g -cp seg.jar edu.stanford.nlp.ie.crf.CRFClassifier     -sighanCorporaDict data     -loadClassifier data/ctb.gz     -testFile preprocess-$1.txt     -inputEncoding UTF-8     -sighanPostProcessing true     -serDictionary data/dict-chris6.ser.gz,data/cedict.txt,data/ntusd.txt     -keepAllWhitespaces false >$1_seged.txt


       其中data/dict-chris6.ser.gz为自带的词典库压缩文件,data/cedict.txt,data/ntusd.txt为用户自定义的两个词典文件,词典文件的数据格式是每一行为一个词。
    

原创粉丝点击