搜狗词库转为txt格式（小小输入法）

在linux平台下把搜狗词库导入到小小输入法

     前几天换成了小小输入法，感觉还不错，后来发现原来还可以导入搜狗词库的，不错。

    看到了这篇帖子http://bucunzai.net/2011/04/cell_dict_to_yong_input/，里面介绍的搜狗scel词库转换为txt的工具是window的程序，对于我们这些linux工作者来说难道还得找个windows系统啊，太麻烦了，所以我抽世间研究了一下，写了一个python脚本，直接把scel格式转换为txt，提供给小小输入法使用。

#!/usr/bin/python# -*- coding: utf-8 -*-import structimport sysimport binascii import pdb#搜狗的scel词库就是保存的文本的unicode编码，每两个字节一个字符（中文汉字或者英文字母）#找出其每部分的偏移位置即可#主要两部分#1.全局拼音表，貌似是所有的拼音组合，字典序#       格式为(index,len,pinyin)的列表#       index: 两个字节的整数 代表这个拼音的索引#       len: 两个字节的整数 拼音的字节长度#       pinyin: 当前的拼音，每个字符两个字节，总长len#       #2.汉语词组表#       格式为(same,py_table_len,py_table,{word_len,word,ext_len,ext})的一个列表#       same: 两个字节 整数 同音词数量#       py_table_len:  两个字节 整数#       py_table: 整数列表，每个整数两个字节,每个整数代表一个拼音的索引##       word_len:两个字节 整数 代表中文词组字节数长度#       word: 中文词组,每个中文汉字两个字节，总长度word_len#       ext_len: 两个字节 整数 代表扩展信息的长度，好像都是10#       ext: 扩展信息 前两个字节是一个整数(不知道是不是词频) 后八个字节全是0##      {word_len,word,ext_len,ext} 一共重复same次 同音词 相同拼音表#拼音表偏移，startPy = 0x1540;#汉语词组表偏移startChinese = 0x2628;#全局拼音表GPy_Table ={}#解析结果#元组(词频,拼音,中文词组)的列表GTable = []def byte2str(data):    '''将原始字节码转为字符串'''    i = 0;    length = len(data)    ret = u''    while i < length:        x = data[i] + data[i+1]        t = unichr(struct.unpack('H',x)[0])        if t == u'\r':            ret += u'\n'        elif t != u' ':            ret += t        i += 2    return ret#获取拼音表def getPyTable(data):    if data[0:4] != "\x9D\x01\x00\x00":        return None    data = data[4:]    pos = 0    length = len(data)    while pos < length:        index = struct.unpack('H',data[pos]+data[pos+1])[0]        #print index,        pos += 2        l = struct.unpack('H',data[pos]+data[pos+1])[0]        #print l,        pos += 2        py = byte2str(data[pos:pos+l])        #print py        GPy_Table[index]=py        pos += l#获取一个词组的拼音def getWordPy(data):    pos = 0    length = len(data)    ret = u''    while pos < length:                index = struct.unpack('H',data[pos]+data[pos+1])[0]        ret += GPy_Table[index]        pos += 2        return ret#获取一个词组def getWord(data):    pos = 0    length = len(data)    ret = u''    while pos < length:                index = struct.unpack('H',data[pos]+data[pos+1])[0]        ret += GPy_Table[index]        pos += 2        return ret#读取中文表    def getChinese(data):    #import pdb    #pdb.set_trace()        pos = 0    length = len(data)    while pos < length:        #同音词数量        same = struct.unpack('H',data[pos]+data[pos+1])[0]        #print '[same]:',same,                #拼音索引表长度        pos += 2        py_table_len = struct.unpack('H',data[pos]+data[pos+1])[0]        #拼音索引表        pos += 2        py = getWordPy(data[pos: pos+py_table_len])        #中文词组        pos += py_table_len        for i in xrange(same):            #中文词组长度            c_len = struct.unpack('H',data[pos]+data[pos+1])[0]            #中文词组            pos += 2              word = byte2str(data[pos: pos + c_len])            #扩展数据长度            pos += c_len                    ext_len = struct.unpack('H',data[pos]+data[pos+1])[0]            #词频            pos += 2            count  = struct.unpack('H',data[pos]+data[pos+1])[0]            #保存            GTable.append((count,py,word))                    #到下个词的偏移位置            pos +=  ext_lendef deal(file_name):    print '-'*60    f = open(file_name,'rb')    data = f.read()    f.close()            if data[0:12] !="\x40\x15\x00\x00\x44\x43\x53\x01\x01\x00\x00\x00":        print "确认你选择的是搜狗(.scel)词库?"        sys.exit(0)    #pdb.set_trace()        print "词库名：" ,byte2str(data[0x130:0x338])#.encode('GB18030')    print "词库类型：" ,byte2str(data[0x338:0x540])#.encode('GB18030')    print "描述信息：" ,byte2str(data[0x540:0xd40])#.encode('GB18030')    print "词库示例：",byte2str(data[0xd40:startPy])#.encode('GB18030')        getPyTable(data[startPy:startChinese])    getChinese(data[startChinese:])            if __name__ == '__main__':    #将要转换的词库添加在这里就可以了    o = ['计算机词汇大全【官方推荐】.scel',    'IT计算机.scel',    '计算机词汇大全【官方推荐】.scel',    '北京市城市信息精选.scel',    '常用餐饮词汇.scel',    '成语.scel',    '成语俗语【官方推荐】.scel',    '法律词汇大全【官方推荐】.scel',    '房地产词汇大全【官方推荐】.scel',    '手机词汇大全【官方推荐】.scel',    '网络流行新词【官方推荐】.scel',    '歇后语集锦【官方推荐】.scel',    '饮食大全【官方推荐】.scel',    ]        for f in o:        deal(f)            #保存结果      f = open('sougou.txt','w')    for count,py,word in GTable:        #GTable保存着结果，是一个列表，每个元素是一个元组(词频,拼音,中文词组)，有需要的话可以保存成自己需要个格式        #我没排序，所以结果是按照上面输入文件的顺序        f.write( unicode('{%(count)s}' %{'count':count}+py+' '+ word).encode('GB18030') )#最终保存文件的编码，可以自给改        f.write('\n')    f.close()