提取关键短语tutorial笔记

 

这是《AutomaticKeyphrase Extraction:A Survey of the State of th Art》一文的笔记。

 

影响短语提取的四个要素

1.        短语的长度

2.        文档结构的一致性

3.        文章主题的变化性

4.        短语之间主题的关联性

短语提取方法

短语提取的步骤：

1.        提取出候选词语

2.        使用（非）监督学习方法进行筛选

 

选择候选词语：

1.        去除停用词

2.        词性标注

3.        使用n-gram选择候选词

4.        筛选掉不符合lexico-syntactic模式的短语

监督学习方法：

1.        任务重构（task reformulation）

2.        特征设计（feature design）

任务重构：

把问题重铸（recast）为二元分类问题：是否是候选词。

特征：

Within-Collection特征:

1.        tf*idf

2.        短语距离（这个词语与它第一次出现的位置的距离）

3.        监督式短语（在训练集里这个词语作为关键短语的次数）

4.        短语的长度和扩展性（这个词语第一次出现的位置和最后出现的位置之间有多少个word）

结构性特征：

短语在文档里所属的部分（摘要、正文、结尾等）。经验表明这个特征对于关键短语提取是有用的。

句法特征：

词性序列、后缀序列等。经验表明这个特征对于关键短语提取是无用的。

外部机遇资源的特征（External Resource-Based Features）：

例如：一个短语被认为是候选的，如果它经常在Wikipedia里被当做一个链接。

           一个短语被认为是候选的，如果它出现在搜索引擎的搜索日志里。

 

非监督学习方法：

基于图的排序：

比如TextRank算法，但是它不保证在提取出的短语里，包含了所有的主题。

但是由于它要对整篇文档构建一个图，所以很耗费资源。

基于主题聚类：

KeyCluster:

基于Wikipedia和co-occurrence-based statistics聚类，并假设聚出来的类对应文档的主题，在每个类里选取中心短语作为此篇文档的关键短语。

效果比TextRank好，但是它本质上给了每个主题相同的权重。

Topical PageRank(TPR)：

使用LDA获得主题，在获得的主题集里，对每个主题运行一遍TextRank算法。最后每个候选词的得分，是这个候选词在每个主题里的得分，乘以该主题的权重（概率），的和。

效果比TextRank和tif*idf好。

CommunityCluster:

给重要的主题更多的权重，但是不像TPR，它保留重要主题的所有候选词。

在不损失准确率的情况下，召回率比TextRank和tf*idf还有Yahoo ! term extractor高。

即时学习：

构建三个图：word-word，sentence-word，sentence-sentence。

语言模型：

有两个特征项：phraseness和informativeness。

根据训练集，由KL距离计算候选词的权重并排序。