对于２－gram 条件下对英语文本的分词处理

#coding=utf-8import re#得到１元条件下的分词，并将这些分词加入到list中with open('/home/zheng/firstproject/lecture.txt', 'r') as lecture:    content = lecture.read().strip().decode('gbk').encode('utf-8')    lecture_list = re.findall('([A-Za-z\']+)', content)    # print lecture_list    n=len(lecture_list)#计算list表中的单词总数new_list = []#构建一个新的list#将list表中的数据以２元分词的方式存入新的list中i=0while i<n-1:    j=1    while j<n:     new_list.append(lecture_list[i] + ' ' + lecture_list[j])     j+=1     i+=1     while j>=n:      print new_list      break