将搜狗词库.scel格式转化为.txt格式
来源:互联网 发布:2017软件设计师 编辑:程序博客网 时间:2024/06/06 05:39
由于项目中要生成一份行业词库,在分词训练前先找了找现成的词库,除了一些大数据训练样本外,发现搜狗词库的内容还是和行业相关度很切合的,而下载的搜狗词库是.scel格式,编码处理过的,无法直接得到txt格式的词语集合,所以就用python脚本将搜狗词库.scel格式文件转化为.txt格式文件。
python代码如下(亲测可用 2017.12.14):
友情提示,.scel文件重命名为英文,中文会报错
#!/bin/python# -*- coding: utf-8 -*-import structimport sysimport binasciiimport pdbtry: reload(sys) sys.setdefaultencoding('utf-8')except: pass# 搜狗的scel词库就是保存的文本的unicode编码,每两个字节一个字符(中文汉字或者英文字母)# 找出其每部分的偏移位置即可# 主要两部分# 1.全局拼音表,貌似是所有的拼音组合,字典序# 格式为(index,len,pinyin)的列表# index: 两个字节的整数 代表这个拼音的索引# len: 两个字节的整数 拼音的字节长度# pinyin: 当前的拼音,每个字符两个字节,总长len## 2.汉语词组表# 格式为(same,py_table_len,py_table,{word_len,word,ext_len,ext})的一个列表# same: 两个字节 整数 同音词数量# py_table_len: 两个字节 整数# py_table: 整数列表,每个整数两个字节,每个整数代表一个拼音的索引## word_len:两个字节 整数 代表中文词组字节数长度# word: 中文词组,每个中文汉字两个字节,总长度word_len# ext_len: 两个字节 整数 代表扩展信息的长度,好像都是10# ext: 扩展信息 前两个字节是一个整数(不知道是不是词频) 后八个字节全是0## {word_len,word,ext_len,ext} 一共重复same次 同音词 相同拼音表# 拼音表偏移,startPy = 0x1540;# 汉语词组表偏移startChinese = 0x2628;# 全局拼音表GPy_Table = {}# 解析结果# 元组(词频,拼音,中文词组)的列表GTable = []def byte2str(data): '''''将原始字节码转为字符串''' i = 0; length = len(data) ret = u'' while i < length: x = data[i] + data[i + 1] t = unichr(struct.unpack('H', x)[0]) if t == u'\r': ret += u'\n' elif t != u' ': ret += t i += 2 return ret# 获取拼音表def getPyTable(data): if data[0:4] != "\x9D\x01\x00\x00": return None data = data[4:] pos = 0 length = len(data) while pos < length: index = struct.unpack('H', data[pos] + data[pos + 1])[0] # print index, pos += 2 l = struct.unpack('H', data[pos] + data[pos + 1])[0] # print l, pos += 2 py = byte2str(data[pos:pos + l]) # print py GPy_Table[index] = py pos += l # 获取一个词组的拼音def getWordPy(data): pos = 0 length = len(data) ret = u'' while pos < length: index = struct.unpack('H', data[pos] + data[pos + 1])[0] ret += GPy_Table[index] pos += 2 return ret# 获取一个词组def getWord(data): pos = 0 length = len(data) ret = u'' while pos < length: index = struct.unpack('H', data[pos] + data[pos + 1])[0] ret += GPy_Table[index] pos += 2 return ret# 读取中文表def getChinese(data): # import pdb # pdb.set_trace() pos = 0 length = len(data) while pos < length: # 同音词数量 same = struct.unpack('H', data[pos] + data[pos + 1])[0] # print '[same]:',same, # 拼音索引表长度 pos += 2 py_table_len = struct.unpack('H', data[pos] + data[pos + 1])[0] # 拼音索引表 pos += 2 py = getWordPy(data[pos: pos + py_table_len]) # 中文词组 pos += py_table_len for i in xrange(same): # 中文词组长度 c_len = struct.unpack('H', data[pos] + data[pos + 1])[0] # 中文词组 pos += 2 word = byte2str(data[pos: pos + c_len]) # 扩展数据长度 pos += c_len ext_len = struct.unpack('H', data[pos] + data[pos + 1])[0] # 词频 pos += 2 count = struct.unpack('H', data[pos] + data[pos + 1])[0] # 保存 GTable.append((count, py, word)) # 到下个词的偏移位置 pos += ext_lendef deal(file_name): print '-' * 60 f = open(file_name, 'rb') data = f.read() f.close() if data[0:12] != "\x40\x15\x00\x00\x44\x43\x53\x01\x01\x00\x00\x00": print "确认你选择的是搜狗(.scel)词库?" sys.exit(0) # pdb.set_trace() print "词库名:", byte2str(data[0x130:0x338]) # .encode('GB18030') print "词库类型:", byte2str(data[0x338:0x540]) # .encode('GB18030') print "描述信息:", byte2str(data[0x540:0xd40]) # .encode('GB18030') print "词库示例:", byte2str(data[0xd40:startPy]) # .encode('GB18030') getPyTable(data[startPy:startChinese]) getChinese(data[startChinese:])if __name__ == '__main__': # 主函数部分 # 将要转换的词库添加在这里就可以了,最好把.scel文件重命名为英文,不然会错误 #房产(我找了五个房产相关的词库,放到了D盘如下位置,在数组中声明他们的位置,然后循环处理,最后写入到一个txt文件夹中) name = 'fangchan' o = ['D:/files/scell/fangchanzhongjie.scel', 'D:/files/scell/fangdichancihuidaquan.scel', 'D:/files/scell/fangdichande.scel', 'D:/files/scell/fangdichanfalv.scel', 'D:/files/scell/fangdichanzhuanyeshuyu.scel', ] for f in o: deal(f) # 保存结果 f = open(name+'.txt', 'w') for word in GTable: # GTable保存着结果,是一个列表,每个元素是一个元组(词频,拼音,中文词组),有需要的话可以保存成自己需要个格式 # 我没排序,所以结果是按照上面输入文件的顺序 #f.write(unicode(word).encode('GB18030')) # 最终保存文件的编码,可以自给改 f.write(word[2]) f.write('\n') f.close()
处理完成后的结果(共五千多个词):
阅读全文
0 0
- 将搜狗词库.scel格式转化为.txt格式
- 将搜狗词库.scel格式转化为.txt格式
- 使用java将搜狗词库.scel文件转化为.txt文件
- scel2txt 搜狗scel格式转txt python3
- scel转txt抽取词库
- 点云TXT转化为pcd格式
- java解析搜狗词库scel文件到txt
- 搜狗词库转为txt格式(小小输入法)
- 把rmvb格式转化为avi格式
- 将FAT32格式转化为NTFS格式
- DGN格式转化为shp格式
- 百度词库格式分析
- 数组转化为Json格式
- xsd转化为XML格式
- csf格式转化为wmv
- Word格式转化为Html
- 图片转化为Base64格式
- RAW格式转化为BMP
- impdp错误 ORA-06512: at "SYS.UTL_FILE", line 536解决办法
- Android Studio配置打包生成自定义文件名
- 探究下 Android4.2 中新增的 settings 命令
- Silver Light 常用学习资料
- JS——for in
- 将搜狗词库.scel格式转化为.txt格式
- vue-router懒加载
- Lucene简介和索引原理
- django 数据处理项目总结
- EventBus初体验
- [Python]
- 阿里电商架构演变之路(一)
- spark运行时候datanode无故消失
- List,Set和Map详解及其区别和他们分别适用的场景