将搜狗词库.scel格式转化为.txt格式
来源:互联网 发布:云端分享软件 编辑:程序博客网 时间:2024/06/12 23:32
由于项目中要用到词库,而下载的搜狗词库是.scel格式,所以就用python脚本将搜狗词库.scel格式文件转化为.txt格式文件。
亲测可用!
#!/bin/python# -*- coding: utf-8 -*-import structimport sysimport binasciiimport pdbtry: reload(sys) sys.setdefaultencoding('utf-8')except: pass# 搜狗的scel词库就是保存的文本的unicode编码,每两个字节一个字符(中文汉字或者英文字母)# 找出其每部分的偏移位置即可# 主要两部分# 1.全局拼音表,貌似是所有的拼音组合,字典序# 格式为(index,len,pinyin)的列表# index: 两个字节的整数 代表这个拼音的索引# len: 两个字节的整数 拼音的字节长度# pinyin: 当前的拼音,每个字符两个字节,总长len## 2.汉语词组表# 格式为(same,py_table_len,py_table,{word_len,word,ext_len,ext})的一个列表# same: 两个字节 整数 同音词数量# py_table_len: 两个字节 整数# py_table: 整数列表,每个整数两个字节,每个整数代表一个拼音的索引## word_len:两个字节 整数 代表中文词组字节数长度# word: 中文词组,每个中文汉字两个字节,总长度word_len# ext_len: 两个字节 整数 代表扩展信息的长度,好像都是10# ext: 扩展信息 前两个字节是一个整数(不知道是不是词频) 后八个字节全是0## {word_len,word,ext_len,ext} 一共重复same次 同音词 相同拼音表# 拼音表偏移,startPy = 0x1540;# 汉语词组表偏移startChinese = 0x2628;# 全局拼音表GPy_Table = {}# 解析结果# 元组(词频,拼音,中文词组)的列表GTable = []def byte2str(data): '''''将原始字节码转为字符串''' i = 0; length = len(data) ret = u'' while i < length: x = data[i] + data[i + 1] t = unichr(struct.unpack('H', x)[0]) if t == u'\r': ret += u'\n' elif t != u' ': ret += t i += 2 return ret# 获取拼音表def getPyTable(data): if data[0:4] != "\x9D\x01\x00\x00": return None data = data[4:] pos = 0 length = len(data) while pos < length: index = struct.unpack('H', data[pos] + data[pos + 1])[0] # print index, pos += 2 l = struct.unpack('H', data[pos] + data[pos + 1])[0] # print l, pos += 2 py = byte2str(data[pos:pos + l]) # print py GPy_Table[index] = py pos += l # 获取一个词组的拼音def getWordPy(data): pos = 0 length = len(data) ret = u'' while pos < length: index = struct.unpack('H', data[pos] + data[pos + 1])[0] ret += GPy_Table[index] pos += 2 return ret# 获取一个词组def getWord(data): pos = 0 length = len(data) ret = u'' while pos < length: index = struct.unpack('H', data[pos] + data[pos + 1])[0] ret += GPy_Table[index] pos += 2 return ret# 读取中文表def getChinese(data): # import pdb # pdb.set_trace() pos = 0 length = len(data) while pos < length: # 同音词数量 same = struct.unpack('H', data[pos] + data[pos + 1])[0] # print '[same]:',same, # 拼音索引表长度 pos += 2 py_table_len = struct.unpack('H', data[pos] + data[pos + 1])[0] # 拼音索引表 pos += 2 py = getWordPy(data[pos: pos + py_table_len]) # 中文词组 pos += py_table_len for i in xrange(same): # 中文词组长度 c_len = struct.unpack('H', data[pos] + data[pos + 1])[0] # 中文词组 pos += 2 word = byte2str(data[pos: pos + c_len]) # 扩展数据长度 pos += c_len ext_len = struct.unpack('H', data[pos] + data[pos + 1])[0] # 词频 pos += 2 count = struct.unpack('H', data[pos] + data[pos + 1])[0] # 保存 GTable.append((count, py, word)) # 到下个词的偏移位置 pos += ext_lendef deal(file_name): print '-' * 60 f = open(file_name, 'rb') data = f.read() f.close() if data[0:12] != "\x40\x15\x00\x00\x44\x43\x53\x01\x01\x00\x00\x00": print "确认你选择的是搜狗(.scel)词库?" sys.exit(0) # pdb.set_trace() print "词库名:", byte2str(data[0x130:0x338]) # .encode('GB18030') print "词库类型:", byte2str(data[0x338:0x540]) # .encode('GB18030') print "描述信息:", byte2str(data[0x540:0xd40]) # .encode('GB18030') print "词库示例:", byte2str(data[0xd40:startPy]) # .encode('GB18030') getPyTable(data[startPy:startChinese]) getChinese(data[startChinese:])if __name__ == '__main__': # 将要转换的词库添加在这里就可以了 o = [u'明星【官方推荐】.scel',] for f in o: deal(f) # 保存结果 f = open('amuse.txt', 'w') for word in GTable: # GTable保存着结果,是一个列表,每个元素是一个元组(词频,拼音,中文词组),有需要的话可以保存成自己需要个格式 # 我没排序,所以结果是按照上面输入文件的顺序 #f.write(unicode(word).encode('GB18030')) # 最终保存文件的编码,可以自给改 f.write(word[2]) f.write('\n') f.close()
阅读全文
0 0
- 将搜狗词库.scel格式转化为.txt格式
- 将搜狗词库.scel格式转化为.txt格式
- 使用java将搜狗词库.scel文件转化为.txt文件
- scel2txt 搜狗scel格式转txt python3
- scel转txt抽取词库
- 点云TXT转化为pcd格式
- java解析搜狗词库scel文件到txt
- 搜狗词库转为txt格式(小小输入法)
- 把rmvb格式转化为avi格式
- 将FAT32格式转化为NTFS格式
- DGN格式转化为shp格式
- 百度词库格式分析
- 数组转化为Json格式
- xsd转化为XML格式
- csf格式转化为wmv
- Word格式转化为Html
- 图片转化为Base64格式
- RAW格式转化为BMP
- VMware Workstation上安装Ubuntu 16.04 Desktop操作系统
- Parameter Server 详解
- Scala--Import and Package
- css详解笔记
- window 下安装composer
- 将搜狗词库.scel格式转化为.txt格式
- 欢迎使用CSDN-markdown编辑器
- 关于虚表dual 的来源 作用
- 请求评论中表情包的方法
- 为wget添加代理
- Linux常用命令
- Spring boot 读取配置文件——@Value的使用
- 名称空间
- 动态编程之最长增加的子序列