HanLP里使用DAT存取字典的方法

来源:互联网 发布:霹雳知乎 编辑:程序博客网 时间:2024/06/07 02:40

CoreBiGramTableDictionary.java和CoreDictionary.java结构思路


词典里文件的格式:wordA@wordB     frequency
CoreBiGramTableDictionary.java文件用一个TreeMap<(int)wordA, TreeMap<(int)wordB, (int)frequency>>来读取词典。用一个名为pair的int型数组来存储TreeMap<(int)wordB, (int)frequency>。因为一个wordA可能对应有多个wordB,所以用一个名为start的int型数组来记录wordA后面有多少个wordB(start[i] ~~~ start[i+1])。
wordA和wordB的int数值从DAT的查询中来。

词典里文件的格式:word     nature1     frequency1     nature2     frequency2 ......
CoreDictionary.java里用一个Attribute的内部类来保存词典里的每一列中word后的那些概率。
Attribute属性:Nature nature[];
                        int         frequency[];
                        int          totalFrequency;
接着用一个TreeMap<String, Attribute>来存储一列。
怎么build这个map到DAT里?
build(map<String, Attribute>) --> build(Set<String, Attribute>) --> List<String> keyList, List<Attribute> valueList --> build(keyList, valueList) --> DAT里的Attribute[] v := valueList, 最终到了原有的build()。

OK, finished.




0 0