LDA主题模型代码实现流程

LDA主题模型的原理,推导过程比较复杂,可以参考此链接,讲的比较详细:http://www.52nlp.cn/lda-math-mcmc-%E5%92%8C-gibbs-sampling1

本文主要是通过阅读别人实现的LAD主题模型代码,总结的一个实现流程,供别人想实现LAD时可作参考,如若有何错误,麻烦请指出:

LDA代码流程:

(1) 先对文档切词,然后对每个词语赋ID编号0~(n-1),计算共有n个词,m个文档

(2) 参数,变量设置:

K 主题数

beta β

alpha α

iter_times 迭代次数

top_words_num 每个主题特征词个数

p,概率向量,double类型,存储采样的临时变量,长度为主题数

nw,词word在主题上的分布数,长度为[n][K]

nwsum,每个主题的词的总数,长度为[K]

nd,每个文档中各个主题的词的总数,长度为[m][K]

ndsum,每个文档中词的总数,长度为[m]

Z,文档中各个词的所属主题,长度为[m][各个文档的词个数]

theta,长度为[m][K] 文章-主题分布

phi,长度为[K][n] 词-主题分布

(3) 初始化

先为各个文档里的单词随机分配主题

for i to 文档数:

ndsum[i] = 文档i的单词数

for j to 文档i的单词数:

随机主题topic

Z[i][j] = topic

nw[词的ID编号][topic] += 1

nd[i][topic] += 1

nwsum[topic] += 1

(4) 开始迭代

迭代iter_times次:

for i to 文档数:

for j to 文档i的单词数:

topic = self.Z[i][j] 取出文档i中第j的单词的主题

取出文档i中第j的单词的ID编号id,假设去除这个词后的主题分布

nw[id][topic] -= 1

nd[i][topic] -= 1

nwsum[topic] -= 1

ndsum[i] -= 1

#计算每个主题的概率分布

Vbeta = 单词数 * self.beta

Kalpha = K * self.alpha

p = (nw[id] + beta)/(nwsum + Vbeta)*(nd[i] + alpha) / (ndsum[i] + Kalpha)

for k to K:

p[k] += p[k-1]

随机一个概率u in (0,p[K-1])

#如果转移概率大于u,则转移.

for topic to K:

if p[k]>u:

break

#确定文档i中的第j个单词的主题为topic,重新赋值

nw[id][topic] +=1

nwsum[topic] +=1

nd[i][topic] +=1

ndsum[i] +=1

(5) 计算文章-主题分布,计算词-主题分布

for i to m: #这文档各个主题的单词数除以这文档总的单词数

theta[i] = (nd[i]+alpha)/(ndsum[i]+K * alpha)

for i to K: #这主题各个的单词的数量除以这主题总的单词数

phi[i] = (nw.T[i]+beta)/(nwsum[i]+ n * beta)

(6) 取各个主题的前top_words_num个特征词

循环phi,取每一行的前top_words_num的最大值的下标,将下表反编码成词语输出.