eclipse新建.dic文件注意——由使用IKAnalyzer分词器新建ext.dic文件引发的思考

来源:互联网 发布:金和软件官网 编辑:程序博客网 时间:2024/06/05 08:45

当我们用lucene的IKAnalyzer分词器并使用扩展词典的时候,我们会新建一个ext.dic文件,在这里存储一些未被收录的特殊词汇。
在windows系统的eclipse中,当我们新建ext.dic文件后,双击该文件打开,很有可能是由Windows记事本打开的,因为Windows中存在大量的.dic文件,此时要注意记事本默认编码是ANSI ,新建后首次编辑并用记事本保存后,文件编码不是UTF-8。
程序进行分词后,索引库中并不存在写到ext.dic中的扩展词。
解决办法有多种,只要编码是UTF-8就行,保证用改完默认编码的eclipse来编辑,或是用记事本另存编码为UTF-8的文件。