好玩的分词——分析一下《三体》全集

另参加：jieba的基本用法参加我的另一篇博文：好玩的分词——python jieba分词模块的基本用法

《三体》是一部很好看的硬科幻作品，当初是一口气把三部全都看完的，包括《三体1》、《三体2：黑暗森林》和《三体3：死神永生》，洋洋洒洒几十万字，那看的叫一个酣畅淋漓。本文就使用jieba分词，对《三体》三部曲全集文本做一些有趣的分析，涉及到分词和词频分析等。

文本准备

到网上随便一搜”三体全集”，就很容易下载到三体三部曲的全集文本（txt文档大概有2~3Mb），这里重命名为santi.txt，并存放到当前目录下。

读取三体全集文本

# coding:utf-8import sys# 设置环境为utf-8编码格式，防止处理中文出错reload(sys)sys.setdefaultencoding('utf-8')# 读取三体全集文本santi_text = open('./santi.txt').read()

print len(santi_text)# 输出：'''2681968'''

可以看出文本的长度有2681968字节，数据量还是很庞大的，语料库足够丰富。

对文本分词并缓存到文件中

下面用jieba.posseg模块对文本进行分词并标注词性，这里标注词性的目的是为了后面接下来根据词性过滤掉那些没有实际意义的词（如’好的’、’一般’、’他的’等等这种词），而将分词结果缓存到文件中是为了提高每次运行脚本的效率，毕竟这么大的数据量，分词一次还是耗时很长的（大概为几分钟），缓存到文件中，只需第一次做一次分词，后面再运行脚本就只需从文件中读取分词结果即可，毕竟读文件的速度比分词要快很多。下面上代码：

import jieba.posseg as psg# 将三体全集文本分词，并附带上词性，因为数据量比较大，防止每次运行脚本都花大量时间，所以第一次分词后就将结果存入文件out.txt中# 相当于做一个缓存，格式为每个词占一行，每一行的内容为：# 词    词性santi_words_with_attr = [(x.word,x.flag) for x in psg.cut(santi_text) if len(x.word) >= 2]  # 这里的x.word为词本身，x.flag为词性print len(santi_words_with_attr)　　#　输出：with open('out.txt','w+') as f:    for x in santi_words_with_attr:        f.write('{0}\t{1}\n'.format(x[0],x[1]))

运行上面一段代码，几分钟之后在当前目录生成了一个out.txt文件，有273033行，数据量还是非常大的，其前几行的内容如下：

'''手机  nTXT eng小说  n下载  vwww engsjtxt   engcom eng欢迎您 lsjtxt   eng推荐  v好书  n    x    x    x'''

你肯定会大呼一声：这什么鬼!?!!!

不急，这是因为文本中存在大量的我们不需要的词，甚至还有很多空白符词，这肯定是没法玩的，所以接下来我们对垃圾词进行过滤，对数据做一下清洗。

分词结果清洗

现在我们缓存的分词结果文件out.txt就可以派上用场了，为了清洗分词结果，我们需要再次获取分词结果，而现在就不需要再运行一次超级耗时的分词代码了，而只需从out.txt中读取即可，上代码：

# 从out.txt中读取带词性的分词结果列表santi_words_with_attr = []with open('out.txt','r') as f:    for x in f.readlines():        pair = x.split()        if len(pair) < 2:            continue        santi_words_with_attr.append((pair[0],pair[1]))# 将分词列表的词性构建成一个字典，以便后面使用，格式为：# {词:词性}attr_dict = {}for x in santi_words_with_attr:    attr_dict[x[0]] = x[1]# 要过滤掉的词性列表，这些词性的词都是没有实际意义的词，如连词、代词等虚词，这个列表初始化为空列表，后面根据分析结果手工往里面一个个添加stop_attr = []# 获取过滤掉stop_attr里的词性的词后的分词列表words = [x[0] for x in santi_words_with_attr if x[1] not in stop_attr]#　统计在分词表中出现次数排名前500的词的列表，并将结果输出到文件most.txt中，每行一个词，格式为：# 词,出现次数,词性from collections import Counterc = Counter(words).most_common(500)with open('most.txt','w+') as f:    for x in c:        f.write('{0},{1},{2}\n'.format(x[0],x[1],attr_dict[x[0]]))

第一次运行上述代码，生成的most.txt文件有500行，前10行内容如下：

'''一个,3057,m没有,2128,v他们,1690,r我们,1550,r程心,1451,n这个,1357,r自己,1347,r现在,1273,t已经,1259,d罗辑,1256,n'''

可以看到词频排名前四的都是些没意义的词，而第5个’程心’才是三体中有实际意义的词(程圣母果然厉害)。等等，这是因为我们没有将前四名这些词的词性添加到stop_attr列表中，导致它们并没有被过滤掉，那我们现在就把这前4个词的词性添加到stop_attr列表中，stop_attr列表变成：[‘m’,’v’,’r’]，再次运行脚本，most.txt的内容(前10个词)变为了：

'''程心,1451,n现在,1273,t已经,1259,d罗辑,1256,n世界,1243,n地球,951,n人类,935,n太空,930,n三体,879,n宇宙,875,n'''

可以看到，我们成功清洗掉了刚刚前四名的无意义的词，’程心’成功变为词频最高的词。但是第2、3名的’现在’、’已经’等词显然也是我们不需要的，那么就重复上面的过程，把这些不需要的词性添加到stop_attr列表中，再看结果。然后继续重复以上过程，重复N次之后，我得到的stop_attr变成了：[‘a’,’ad’,’b’,’c’,’d’,’f’,’df’,’m’,’mq’,’p’,’r’,’rr’,’s’,’t’,’u’,’v’,’z’]，长长的一串。而most.txt的内容变为了(前20行)：

'''程心,1451,n罗辑,1256,n世界,1243,n地球,951,n人类,935,n太空,930,n三体,879,n宇宙,875,n太阳,775,ns舰队,649,n飞船,644,n汪淼,633,nrfg时间,611,n文明,561,nr东西,515,ns信息,480,n感觉,468,n智子,452,n计划,451,n叶文洁,446,nr太阳系,428,n'''

可以看出分词结果已经被清洗的很干净了，也可以发现我们需要的有实际意义的词绝大多数都为名词（n或n开头的）。

TopN词汇输出

接下来我们把文本中的TopN词汇及词频输出到result.txt中，每一行一个词，格式为：词,词频

from collections import Counterc = Counter(words).most_common(500)with open('result.txt','w+') as f:    for x in c:        f.write('{0},{1}\n'.format(x[0],x[1]))

得到的result.txt的前10行内容如下：

'''程心,1451罗辑,1256世界,1243地球,951人类,935太空,930三体,879宇宙,875太阳,775舰队,649'''

完整代码封装

将上述每一步的代码封装成一个完整的脚本，如下：

# coding:utf-8import jieba.posseg as psgfrom collections import Counterimport sys# 对文本分词并标注词性，并缓存到文件def cut_and_cache(text):    # 将三体全集文本分词，并附带上词性，因为数据量比较大，防止每次运行脚本都花大量时间，所以第一次分词后就将结果存入文件cut_result.txt中    # 相当于做一个缓存，格式为每个词占一行，每一行的内容为：    # 词,词性    santi_words_with_attr = [(x.word,x.flag) for x in psg.cut(santi_text) if len(x.word) >= 2]    print len(santi_words_with_attr)    with open('cut_result.txt','w+') as f:        for x in santi_words_with_attr:            f.write('{0}\t{1}\n'.format(x[0],x[1]))    # 从cut_result.txt中读取带词性的分词结果列表def read_cut_result():    santi_words_with_attr = []    with open('cut_result.txt','r') as f:        for x in f.readlines():            pair = x.split()            if len(pair) < 2:                continue            santi_words_with_attr.append((pair[0],pair[1]))    return santi_words_with_attr# 将分词列表的词性构建成一个字典，以便后面使用，格式为：# {词:词性}def build_attr_dict(santi_words_with_attr):    attr_dict = {}    for x in santi_words_with_attr:        attr_dict[x[0]] = x[1]    return attr_dict#　统计在分词表中出现次数排名前500的词的列表，并将结果输出到文件result.txt中，每行一个词，格式为：# 词,出现次数def get_topn_words(words,topn):    c = Counter(words).most_common(topn)    with open('result.txt','w+') as f:        for x in c:            f.write('{0},{1}\n'.format(x[0],x[1]))def main():    # 设置环境为utf-8编码格式，防止处理中文出错    reload(sys)    sys.setdefaultencoding('utf-8')    # 读取三体全集文本    santi_text = open('./santi.txt').read()    # 分词并缓存，只需运行一次，后续可注释掉    cut_and_cache(santi_text)    # 从cut_result.txt中读取带词性的分词结果列表    santi_words_with_attr = read_cut_result()    # 构建词性字典，这个字典在探索stop_attr的时候会有帮助    # attr_dict = build_attr_dict(santi_words_with_attr)    # 要过滤掉的词性列表    stop_attr = ['a','ad','b','c','d','f','df','m','mq','p','r','rr','s','t','u','v','z']    # 过滤掉不需要的词性的词    words = [x[0] for x in santi_words_with_attr if x[1] not in stop_attr]    # 获取topn的词并存入文件result.txt    get_topn_words(words = words,topn = 500)if __name__ == '__main__':    main()