自然语言处理中的一些概念

一、概念

1. 语言学方面

     语法学：研究句子结构成分之间的相互关系和组成句子序列的规则。

     语义学：研究如何从一个语句中词的意义，以及这些词在该语句中句法结构中的作用来推导出该语句的意义。

     语用学：研究不同上下文中语句的应用，以及上下文对语句理解所产生的影响。

2. 信息论方面

     相对熵（简称KL距离）：衡量两个相对随机分布的差距。

     交叉熵：衡量估计模型与真实概率分布之间的差异情况。

     困混度：代替交叉熵衡量语言模型的好坏。

     混乱度：熵越大，混乱度越高，说明分布越统一。

     噪声信道模型：目标是优化噪声信道中信号传输的吞吐量和准确率，输出以一定概率依赖于输入。

3. 概率论方面

      涉及到概率、极大似然估计、条件概率、贝叶斯法则、随机变量、二项分布、联合和条件概率分布、贝叶斯决策理论、期望和方差等等。

4. 其他

     信息抽取：把信息从不同文档中转换成数据库记录的系统，提取指定信息而不是查找。

     信息检索：只找出满足检索条件的整片文档或段落，而后人必须阅读去查找（由人阅读、理解、提取）。

        附：信息抽取和信息检索的区别：

               功能不同，前者得到的是文档列表，后者直接获得事实信息；

               处理技术不同：前者用统计和关键词匹配的方法，后者使用自然语言处理相关技术，分析处理句子篇章。

               使用领域不同：前者与领域无关的，任何领域均使用；后者是领域相关的，只能抽取系统预先设定的有限种

        类的事实信息。

二、分类

1.  语料库

     按内容构成和目的划分：异质的和同质的、系统的和专用的

     按语言种类分：单语的、多语的

     其他：平衡语料库和平行语料库、共时语料库和历时语料库

2. 汉语分词常见歧义

     交叉歧义：AB||C  或 A||BC

     组合歧义

3. 模型分类

    基于统计的：

           布尔模型：自动生成布尔表达式，共现频率高用AND。

           扩展模型：比较文档索引项和表达式相似度

           向量空间模型：考虑项的选取和权重评价方法。

           概率模型

   基于语义的：

          潜在语义索引模型、神经网络

   基于集合理论的：

         布尔模型、扩展模型、基于模糊集的模型

   基于代数理论：

         空间向量模型、潜在语义索引模型

   基于概率统计理论的：

         二元独立模型、推理网络模型、信度网络模型（指文档对检索的覆盖程度）、贝叶斯网络模型

三、方法总结

1. 自然语言处理的方法

    基于规则的方法：形式语言、语法理论、词法理论、推理方法等。（理性主义流派：基于chomsky的语言原则）

    基于统计的方法：语言模型、HMM、机器学习、搜索算法等。（经验主义流派：基于shannon的信息论）

2. 汉语自动分词方法

    有词典切分：最大匹配法（正向、逆向、双向）、最少分词法（也叫最短路径法）

    无词典切分

    基于规则的方法

    基于统计的方法

3. 文本分类的方法

     基于统计的：朴素贝叶斯、KNN、类中心向量、回归模型、支持向量机、最大熵。

     基于连接的：人工神经网络

     基于规则的：决策树、关联规则

4. 向量空间模型中的特征选择方法

    文档频度DF、信息增益IG、互信息MI、卡方统计量等。

5. 数据平滑（“劫富劫贫”）的方法

     加一法、减值法、Good-Turing估计、Back-off（后备/后退）方法、绝对减值法、线性减值法、删除插值法。

6. 词义消歧方法

    基于互信息、基于贝叶斯判别、基于词典释义、基于义类词典、基于判定表。

7. 句法分析方法

      传统非概率方法和概率方法、完全句法分析和部分句法分析、自顶向下分析（基于预测）和自底向上（基于归约）分析、确定性和非确定性分析等。

8. 文本聚类的方法

  （1）基于划分的：通过迭代把数据对象划分到不同的簇中，以求目标函数最小化，从而使生成的簇尽可能的紧凑和独立。（局部最优，改进：调整K，调整初始聚类中心，用类核代替类心）。

         K-means、K中心点算法

  （2）基于层次的：进行层次分解。

           层次聚类：递归实现

          会聚层次聚类：设定相似度函数（一般用文本向量的余弦相似度），重复合并最相似的类别，合并过程成层次结构。

          会聚聚类：以每个样本独自一类开始，迭代合并到越来越大的类中。

          分裂聚类 ：将所有样本不断划分到类别中，不需要实现判定类别，需要终止条件。

          平均连通凝聚聚类：又分为单连通、全连通、两者折中。

  （3）基于密度的：只要临近区域的密度超过一定的阈值，就继续聚类，可过滤噪声和孤立点，发现任意形状的类。

  （4）基于网格的：将样本空间量化为有限数目的单元，形成一个网络结构，在其上进行聚类操作。

  （5）基于模型的：为每个类假定一个模型，寻找数据对给定模型的最佳拟合。

9. 相似度计算方法

    最近成员的相似度：sim((i,j),k)=max(sim(i,k),sim(j,k))

    最远成员的相似度：sim((i,j),k)=min(sim(i,k),sim(j,k))

    成员间平均相似度