利用jieba对多个中文txt文本进行分词

最近研究需要，所以获取了“豆瓣读书”135本书的简介，分成了135个txt文本文件，利用jieba对其进行中文分词、去除停用词工作，并仍旧保存为135个。

代码

这个代码是在https://yq.aliyun.com/articles/26040这篇文章代码的基础上修改的，把分词、去停用词、字母小写之类的都合在了一起

首先导入需要进行分词的文件以及用户自定义词典，用户自定义词典可以保证分词时，用户自定义的某些词能够被保留下来，例如“东野圭吾”这个作者，没被加入到自定义词典时，会被分成“东野”“圭吾”两个词，这肯定会影响后续研究，将其添加到词典中就不会被拆开了。

# -*- coding:utf-8 -*-import codecs  import os  import shutil  import jieba  import jieba.analyse  #Read file and cut  def read_file_cut():      #create path      path = "E:\\book\\"       respath = "E:\\fc\\"      if os.path.isdir(respath):          shutil.rmtree(respath, True)      os.makedirs(respath)      jieba.load_userdict("E:\\dict.txt")#导入用户自定义词典    num = 1      while num<=135:          name = "%d" % num           fileName = path + str(name) + ".txt"          resName = respath + str(name) + ".txt"          source = codecs.open(fileName, 'r')          if os.path.exists(resName):              os.remove(resName)          result = codecs.open(resName, 'w', encoding='utf-8')          line = source.readline()          line = line.rstrip('\n')  

导入停用词表

stopwords = {}.fromkeys([ line.strip() for line in codecs.open('C:\\stopwords.txt', encoding='UTF-8') ]  #停用词表

分词

        while line!="":                seglist = jieba.cut(line,cut_all=False)  #精确模式            output=''            for segs in seglist:                seg=segs.lower()            #英文字母小写                if seg not in stopwords:    #去停用词                    if len(seg)>1:          #去掉分词为1个字的结果                        output += seg                        output +=' '            print (output)            result.write(output+'\r\n')              line = source.readline()          else:              print ('End file: ' + str(num) )             source.close()              result.close()          num = num + 1      else:          print ('End All')    if  __name__ == '__main__':      read_file_cut()

这是其中一本图书的简介分词后的结果