自然语言处理入门（6）——基于LDA的文章主题生成

1. LDA概述

LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。

LDA是一种非监督机器学习技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。它采用了词袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。

LDA模型的推导过程包括多项式分布、Dirichlet分布和Gibbs抽样等。具体来说，主要在以下几个方面有广泛的应用：
（1）通过Dirichlet分布取样获得生成文档的主题分布和生成主题的词语分布。
（2）通过主题的多项式分布取样，得到当前文档的对应词语的主题。
（3）通过词语的多项式分布采样，得到生成的词语。

2. 基于LDA的文章主题生成

本文使用python下的lda库来获取语料库和计算文章主题。

实现代码如下所示：

# -*- coding: utf-8 -*-"""Created on Sun Aug 27 20:51:15 2017@author: Administrator"""import numpy as npimport ldaimport lda.datasets'''1.导入数据源'''#通过LDA库自带的API接口调用路透社的数据titles = lda.datasets.load_reuters_titles()for i in range(395):    print(titles[i])'''2.求解P(词语|主题),得到每个主题所包含的单词的分布'''X = lda.datasets.load_reuters()vocab = lda.datasets.load_reuters_vocab()titles = lda.datasets.load_reuters_titles()#设置主题数目为20个，每个主题包含8个词语，模型迭代次数为1500次model = lda.LDA(n_topics=20,n_iter=1500,random_state=1)model.fit(X)topic_word = model.topic_word_n_top_words = 8for i,topic_dist in enumerate(topic_word):    topic_words = np.array(vocab)[np.argsort(topic_dist)][:-(n_top_words+1):-1]    #输出每个主题所包含的单词的分布    print('Topic{}:{}'.format(i,''.join(topic_words)))'''3.求解P(主题|文档),得到文章所对应的主题'''doc_topic = model.doc_topic_for i in range(20):    #输出文章所对应的主题    print("{} (top topic:{})".format(titles[i],doc_topic[i].argmax()))

运行结果如下图所示：

由上图可知，调用的数据集文章数为395，文章单词个数为84010，文章主题数为20个。部分文章的标题如下图所示：

每个主题所包含的单词的分布如下图所示：

文章所对应的主题如下图所示（部分，取前20篇文章）：