LDA主题模型的训练算法和预测算法
来源:互联网 发布:淘宝上如何捐赠旧衣物 编辑:程序博客网 时间:2024/05/16 07:49
LDA训练算法:
(1)随机初始化α和β(一般α取值为50/主题数,β取值为0.1);
(2)以下步骤迭代直到收敛:
(2.1)对训练集中的每篇文档:
(2.1.1)利用当前的α和β值计算每篇文档的主题分布、每个词所属的主题分布(具体算法见下文);
(2.2)累积所有文档中,属于主题k(k=1…K)的词的个数,得到向量gammas;以及词i(i=1…V)属于主题k的次数,得到矩阵betas;
(2.3)根据当前的gammas,利用Newton-Raphson迭代方法求得当前的最优α值;
(2.4)对矩阵betas的列归一化,直接得到当前的β值,即每个主题的词的分布;
(3)输出达到收敛时的α和β的值。
步骤(2.1.1)的算法与基于训练好的模型来进行预测的算法是相同的。它也是一个EM迭代算法,具体算法如下:
LDA预测算法:
(1)以平均分布初始化K维向量nt,ntk是当前文档中属于类别k的词的个数,nt可视为未归一化的文档的主题分布;
(2)以下步骤迭代直到nt达到稳定:
(2.1)根据当前的α值(决定主题的先验分布),以及当前的nt值(当前文档的主题分布),以及当前的β值(主题的词的分布),计算文档中的各个词的主题分布,得到矩阵q, qij=文档中的第i个词属于主题k的概率(具体计算方法参考LDA论文以及variational inference方法);
(2.2)利用矩阵q的值更新向量nt的值。
(3)将nt归一化作为文档的主题分布,矩阵q则为文档中每个词的主题分布。
0 0
- LDA主题模型的训练算法和预测算法
- 声学模型训练-LDA算法
- LDA(Latent Dirichlet Allocation)主题模型算法
- LDA(Latent Dirichlet Allocation)主题模型算法
- LDA(Latent Dirichlet Allocation)主题模型算法
- LDA(Latent Dirichlet Allocation)主题模型算法
- LDA(Latent Dirichlet Allocation)主题模型算法
- mahout 中LDA主题模型算法流程
- Spark:聚类算法之LDA主题模型算法
- spark LDA 训练和预测
- 【LDA】LDA主题模型
- Spark LDA 主题预测
- 主题模型TopicModel:LDA的缺陷和改进
- 使用gensim中的lda模型训练主题分布
- 利用sklearn训练LDA主题模型及调参详解
- 贝叶斯规则和LDA主题模型
- Latent Dirichlet Allocation(LDA)主题模型算法实现及源码解析
- 主题模型LDA及其在微博推荐&广告算法中的应用--第1期
- 【采集层】Kafka 与 Flume 如何选择
- javascript闭包理解
- 图像特征知识结构
- POJ 1258:Agri-Net Prim最小生成树模板题
- UVA 315【求割点数目】
- LDA主题模型的训练算法和预测算法
- CodeForces 567B Berland National Library 容器模拟
- 几周内搞定Java的10个方法
- Question2Answer 安全
- linux下的Makefile详解(5)
- 可重入函数与不可重入函数
- MySQL 加锁处理分析
- 安装DirectX SDK时出现Error Code:s1023 的解决方案
- python基础学习笔记<面向对象编程>