初识nlp （1 （分词

1 nltk知识
Python上著名的自然语处理库。带语料库，词性分类库。 带分类，分词，等等功能

pip install -U nltk   

安装语料库

import nltk   nltk.download() 

简易处理流程图

2 tokenize分词

>>> import nltk >>> tokens = nltk.word_tokenize(“hello, world" ) >>> tokens  ['hello', ‘,', 'world'] 

中文分词与英文有差别 ：今天 today

中文分词可用 jieba
例子
import jieba
seg_list = jieba.cut(“我来到北京清华大学”, cut_all=True)
print “Full Mode:”, “/ “.join(seg_list) # 全模式
我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

seg_list = jieba.cut(“我来到北京清华大学”, cut_all=False)
print “Default Mode:”, “/ “.join(seg_list) # 精确模式
我/ 来到/ 北京/ 清华大学
seg_list = jieba.cut(“他来到了网易杭研大厦”) # 默认是精确模式
print “, “.join(seg_list)
他, 来到, 了, 网易, 杭研, 大厦
seg_list = jieba.cut_for_search(“小明硕士毕业于中国科学院计算所，后在日本京都大学深造”)
print “, “.join(seg_list)
小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

但tokenize会遇到不好办的时候，遇到表情或是html等

from nltk.tokenize import word_tokenize tweet = 'RT @angelababy: love you baby! :D http://ah.love #168cm' print(word_tokenize(tweet)) # ['RT', '@', 'angelababy', ':', 'love', 'you', 'baby', '!', ':', # ’D', 'http', ':', '//ah.love', '#', '168cm']

http://www.regexlab.com/zh/regref.htm 详情
需要用到正则表达式
[0-9a-zA-Z_]可以匹配一个数字、字母或者下划线；

[0-9a-zA-Z_]+可以匹配至少由一个数字、字母或者下划线组成的字符串，比如’a100’，’0_Z’，’Py3000’等等；

[a-zA-Z_][0-9a-zA-Z_]*可以匹配由字母或下划线开头，后接任意个由一个数字、字母或者下划线组成的字符串，也就是Python合法的变量；

[a-zA-Z_][0-9a-zA-Z_]{0, 19}更精确地限制了变量的长度是1-20个字符（前面1个字符+后面最多19个字符）。

(P|p)ython可以匹配’Python’或者’python’

^表示行的开头，^\d表示必须以数字开头。

表示行的结束，\d表示必须以数字结束。

python中用 re模块使用正则表达式

切分字符串

用正则表达式切分字符串比用固定的字符更灵活，请看正常的切分代码：

>>> 'a b   c'.split(' ')['a', 'b', '', '', 'c']

正则

>>> re.split(r'\s+', 'a b   c')['a', 'b', 'c']

>>> re.split(r'[\s\,\;]+', 'a,b;; c  d')['a', 'b', 'c', 'd']

用()表示的就是要提取的分组（Group）

m = re.match(r’^(\d{3})-(\d{3,8})$’, ‘010-12345’)
m
<_sre.SRE_Match object; span=(0, 9), match=’010-12345’>
m.group(0)
‘010-12345’
m.group(1)
‘010’
m.group(2)
‘12345’

正则表达式\d+默认贪婪匹配 用\d+? 非贪婪

>>> re.match(r'^(\d+?)(0*)$', '102300').groups()('1023', '00')

在此 对社交网络语言 tokenize

import rer'<[^>]+>', # HTML tagsr'(?:@[\w_]+)', # @某⼈r"(?:\#+[\w_]+[\w\'_\-]*[\w_]+)", # 话题标签r'http[s]?://(?:[a-z]|[0-9]|[$-_@.&amp;+]|[!*\(\),]|(?:%[0-9a-f][0-9a-f]))+',     # URLsr'(?:(?:\d+,?)+(?:\.?\d+)?)', # 数字r"(?:[a-z][a-z'\-_]+[a-z])", # 含有 - 和 ‘ 的单词r'(?:[\w_]+)', # 其他r'(?:\S)' # 其他

tokens_re = re.compile(r'('+'|'.join(regex_str)+')', re.VERBOSE | re.IGNORECASE)emoticon_re = re.compile(r'^'+emoticons_str+'$', re.VERBOSE | re.IGNORECASE)def tokenize(s):    return tokens_re.findall(s)def preprocess(s, lowercase=False):    tokens = tokenize(s)    if lowercase:        tokens = [token if emoticon_re.search(token) else token.lower() for token in tokens]    return tokenstweet = 'RT @angelababy: love you baby! :D http://ah.love #168cm'print(preprocess(tweet))# ['RT', '@angelababy', ':', 'love', 'you', 'baby', # ’!', ':D', 'http://ah.love', '#168cm']

用正则表达式 tokenize 网络语言

3、词性归一（对英文有需要

Stemming 就是把不影响词性的inflection的尾巴砍掉
walking 砍ing = walk

Lemmatization 词形归一：把各种类型的词的变形，
went 归一 = go

NLTK实现Stemming

>>> from nltk.stem import SnowballStemmer>>> snowball_stemmer = SnowballStemmer(“english”)>>> snowball_stemmer.stem(‘maximum’)u’maximum’>>> snowball_stemmer.stem(‘presumably’)u’presum’

NLTK实现Lemma

>>> from nltk.stem import WordNetLemmatizer>>> wordnet_lemmatizer = WordNetLemmatizer()>>> wordnet_lemmatizer.lemmatize(‘dogs’)u’dog’>>> wordnet_lemmatizer.lemmatize(‘churches’)u’church’

>>> wordnet_lemmatizer.lemmatize(‘is’, pos=’v’)u’be’

词性默认n，加上pos=v，将词性改成v

NLTK标注POS

>>> import nltk>>> text = nltk.word_tokenize('what does the fox say')>>> text['what', 'does', 'the', 'fox', 'say']>>> nltk.pos_tag(text)[('what', 'WDT'), ('does', 'VBZ'), ('the', 'DT'), ('fox', 'NNS'), ('say', 'VBP')]

NLTK去除stopwords
首先下载词库 nltk.download(‘stopwords’)

from nltk.corpus import stopwords# 先token⼀把，得到⼀个word_list# 然后filter⼀把filtered_words = [word for word in word_list if word not in stopwords.words('english')]

4、简单应用
情感分析
配上ML的情感分析

文本相似度
元素频率表达本特征

# 借⽤NLTK的FreqDist统计⼀下⽂字出现的频率fdist = FreqDist(tokens)# 最常用的50个单词拿出来standard_freq_vector = fdist.most_common(50)# Func: 按照出现频率⼤⼩, 记录下每⼀个单词的位置def position_lookup(v):    res = {}    counter = 0    for word in v:        res[word[0]] = counter        counter += 1    return res# 把标准的单词位置记录下来standard_position_dict = position_lookup(standard_freq_vector)print(standard_position_dict)# 得到⼀个位置对照表# {'is': 0, 'the': 3, 'day': 4, 'this': 1,# 'sentence': 5, 'my': 2, 'life': 6}

文本分类
TF: Term Frequency, 衡量⼀个term在⽂档中出现得有多频繁。
TF(t) = (t出现在⽂档中的次数) / (⽂档中的term总数).
IDF: Inverse Document Frequency, 衡量term有多重要。
把罕见的词的重要性（weight）高，
把常见词的重要性低。
IDF(t) = log_e(文档总数 / 含有t的文档总数).
TF-IDF = TF * IDF

from nltk.text import TextCollection# 自动帮你断句, 做统计, 做计算corpus = TextCollection(['this is sentence one',                         'this is sentence two',                         'this is sentence three'])# 直接就能算出tfidf# (term: 一句话中的某个term, text: 这句话)print(corpus.tf_idf('this', 'this is sentence four'))# 0.444342# 对于每个新句⼦new_sentence = 'this is sentence five'# 遍历一遍所有的vocabulary中的词:for word in standard_vocab:    print(corpus.tf_idf(word, new_sentence))    # 会得到(=所有vocab长度)的向量