一个原始的对话系统的例子，尝试与 NLTK 的 chatbot 谈话

操作平台：Fedora 22, Python 3.4 (偶尔使用2.7查看差异)

正式接触NLTK(Natural Language Toolkit)工具包。

重点学习NLP和NLTK的使用，不过分纠结于Python语言本身。

---

系统流程图：

1. 安装与下载

在官网上安装NLTK后，开始下载所需的包。

启动Python解释器，执行如下两行命令：

>>>import nltk

>>>nltk.download()

Python 3.4下在字符界面提示下载或更新相应的包，Python 2.7下是弹出GUI提示相应的操作。

可用from nltk.book import *验证是否下载成功。

（已下载全部语料，放在/home/annefu/nltk_data下）

2. 搜索文本

示例文本text1~text9所属的类为nltk.text.Text（该类是否继承了list有待查证）。

以下为该类中的一些方法（这些方法对指定词不区分大小写）：

（1）concordance(word, width=79, lines=25)

显示指定单词在文本中的出现情况，同时还显示了该单词所在的上下文。

（2）similar(word, num=20)

找到与指定词出现在相同上下文中的其他词，优先列出最相似的那些词。

（3）common_contexts([word1, word2, ...])

显示共用这些词汇的上下文。

（4）dispersion_plot([word1, word2, ...])

构造文本的词汇分布图。（未成功导入Numpy和Matplotlib，该方法的验证先搁置）

（5）generate()：新版本的NLTK已无此方法。

3. 文本词汇的统计

（1）BIF len(text)

可用来获取文本的标识符个数（标识符：指代单词或标点符号）。

（3）BIF sorted(set(text))

去掉文本中重复的元素后，将这些元素排序（标点符号->大写单词->小写单词）。

词类型：一个词在一个文本中独一无二的出现或拼写形式。

（3）计算文本词汇相似度

len(text) / len(set(text))     

（4）某个词在文本中占据的百分比

100* text.count(word) / len(text)

4. 频率分布

>>>from nltk.probability import *

（1）获得每个词在文本中出现的频率

fdist = FreqDist(text)

v = fdist.keys()     #v的类型为<dict_keys>，返回的结果是无序的

list(v)[:50]     #将v转化为列表后再显示前50项

sorted(fdist.items(), key=lambda fdist: fdist[1], reverse=True)     """设置以字典值排序，使频率从高到低显示"""

fdist.hapaxes()     #显示低频词

5. 词语搭配和双连词

（1）获取双连词

list(bigrams([word1, word2, ....]))

如对于['I', 'love', 'NLP']显示结果是[('I', 'love'), ('love', 'NLP')]

（2）获取搭配

搭配：不经常在一起出现的词序列。特点是其中的词不能被类似的词置换。

text.collocations()     

6. 一些语言理解技术

（1）词意消歧(Word Sense Disambiguation)

针对有不同词意的词，要分析出特定上下文中的词被赋予的是哪个意思。

（2）指代消解(Anaphora Resolution)

确定代词或名词短语指代的对象。

（3）语义角色标注(Semantic Role Labeling)

确定名词短语如何与动词相关联（如代理，受事，工具，etc.）

（4）自动问答(Question Answering)

NLTK提供了一个原始的对话系统：运行nltk.chat.chatbots()

（5）机器翻译(Machine Translation)

文本对齐(text alignment)：根据两种语言的文档或双语词典，自动配对组成句子。

*无法使用nltk中的babelizer

（6）文本含义识别(Recognizing Textual Entailment)