文档主题生成模型(LDA)算法原理及Spark MLlib调用实例(Scala/Java/python)
来源:互联网 发布:图片转表格软件 编辑:程序博客网 时间:2024/05/21 11:12
文档主题生成模型(LDA)
算法介绍:
LDA(Latent Dirichlet Allocation)是一种文档主题生成模型,也称为一个三层贝叶斯概率模型,包含词、主题和文档三层结构。所谓生成模型,就是说,我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题,并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布,主题到词服从多项式分布。
LDA是一种非监督机器学习技术,可以用来识别大规模文档集(document collection)或语料库(corpus)中潜藏的主题信息。它采用了词袋(bag of words)的方法,这种方法将每一篇文档视为一个词频向量,从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间的顺序,这简化了问题的复杂性,同时也为模型的改进提供了契机。每一篇文档代表了一些主题所构成的一个概率分布,而每一个主题又代表了很多单词所构成的一个概率分布。
参数:
checkpointInterval:
类型:整数型。
含义:设置检查点间隔(>=1),或不设置检查点(-1)。
docConcentration:
类型:双精度数组型。
含义:文档关于主题("theta")的先验分布集中参数(通常名为“alpha")。
featuresCol:
类型:字符串型。
含义:特征列名。
k:
类型:整数型。
含义:需推断的主题(簇)的数目。
maxIter:
类型:整数型。
含义:迭代次数(>=0)。
optimizer:
类型:字符串型。
含义:估计LDA模型时使用的优化器。
含义:类别条件概率预测结果列名。
seed:
类型:长整型。
含义:随机种子。
subsamplingRate:
类型:双精度型。
含义:仅对在线优化器(即optimizer=”online”)。
topicConcentration:
类型:双精度型。
含义:主题关于文字的先验分布集中参数(通常名为“beta"或"eta")。
topicDistributionCol:
类型:字符串型。
含义:每个文档的混合主题分布估计的输出列(文献中通常名为"theta")。
调用示例:
Scala:
import org.apache.spark.ml.clustering.LDA// Loads data.val dataset = spark.read.format("libsvm") .load("data/mllib/sample_lda_libsvm_data.txt")// Trains a LDA model.val lda = new LDA().setK(10).setMaxIter(10)val model = lda.fit(dataset)val ll = model.logLikelihood(dataset)val lp = model.logPerplexity(dataset)println(s"The lower bound on the log likelihood of the entire corpus: $ll")println(s"The upper bound bound on perplexity: $lp")// Describe topics.val topics = model.describeTopics(3)println("The topics described by their top-weighted terms:")topics.show(false)// Shows the result.val transformed = model.transform(dataset)transformed.show(false)Java:
import org.apache.spark.ml.clustering.LDA;import org.apache.spark.ml.clustering.LDAModel;import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import org.apache.spark.sql.SparkSession;// Loads data.Dataset<Row> dataset = spark.read().format("libsvm") .load("data/mllib/sample_lda_libsvm_data.txt");// Trains a LDA model.LDA lda = new LDA().setK(10).setMaxIter(10);LDAModel model = lda.fit(dataset);double ll = model.logLikelihood(dataset);double lp = model.logPerplexity(dataset);System.out.println("The lower bound on the log likelihood of the entire corpus: " + ll);System.out.println("The upper bound bound on perplexity: " + lp);// Describe topics.Dataset<Row> topics = model.describeTopics(3);System.out.println("The topics described by their top-weighted terms:");topics.show(false);// Shows the result.Dataset<Row> transformed = model.transform(dataset);transformed.show(false);Python:
from pyspark.ml.clustering import LDA# Loads data.dataset = spark.read.format("libsvm").load("data/mllib/sample_lda_libsvm_data.txt")# Trains a LDA model.lda = LDA(k=10, maxIter=10)model = lda.fit(dataset)ll = model.logLikelihood(dataset)lp = model.logPerplexity(dataset)print("The lower bound on the log likelihood of the entire corpus: " + str(ll))print("The upper bound bound on perplexity: " + str(lp))# Describe topics.topics = model.describeTopics(3)print("The topics described by their top-weighted terms:")topics.show(truncate=False)# Shows the resulttransformed = model.transform(dataset)transformed.show(truncate=False)
- scala---文档主题生成模型(LDA)算法原理及Spark MLlib调用实例(Scala/Java/python)
- 文档主题生成模型(LDA)算法原理及Spark MLlib调用实例(Scala/Java/python)
- 广义线性模型(GLMs)算法原理及Spark MLlib调用实例(Scala/Java/Python)
- 生存回归(加速失效时间模型)算法原理及Spark MLlib调用实例(Scala/Java/python)
- Spark MLlib TF-IDF算法原理及调用实例(Scala/Java/python)
- 逻辑回归算法原理及Spark MLlib调用实例(Scala/Java/python)
- 决策树算法原理及Spark MLlib调用实例(Scala/Java/python)
- 随机森林(Random Forest)算法原理及Spark MLlib调用实例(Scala/Java/python)
- 梯度迭代树(GBDT)算法原理及Spark MLlib调用实例(Scala/Java/python)
- 多层感知机(MLP)算法原理及Spark MLlib调用实例(Scala/Java/Python)
- 朴素贝叶斯算法原理及Spark MLlib调用实例(Scala/Java/Python)
- 决策树回归算法原理及Spark MLlib调用实例(Scala/Java/python)
- 梯度迭代树回归(GBDT)算法原理及Spark MLlib调用实例(Scala/Java/python)
- 保序回归算法原理及Spark MLlib调用实例(Scala/Java/python)
- K均值(K-means)算法原理及Spark MLlib调用实例(Scala/Java/python)
- 二分K均值算法原理及Spark MLlib调用实例(Scala/Java/Python)
- 协同过滤(ALS)算法原理及Spark MLlib调用实例(Scala/Java/Python)
- 梯度迭代树(GBDT)算法原理及Spark MLlib调用实例(Scala/Java/python)
- 第十二周利用参数宏进行角度与弧度转换
- 11gr2 alert日志中报TNS-12535 TNS-00505原因及解决方法
- 在 OpenEmbedded 开发框架中配置 Qt5
- Java子类继承父类,静态代码块、普通代码块、构造代码块的执行顺序
- switch基础用法
- 文档主题生成模型(LDA)算法原理及Spark MLlib调用实例(Scala/Java/python)
- 存储过程的基本操作
- 关于Struts2 Action中的setter&&getter
- 【iOS问题】The file “XXX.app” couldn’t be opened because you don’t have permission to view it.
- 树莓派添加RTC时钟模块DS3231
- 8 行 Node.js 代码实现代理服务器
- 微信小程序开发工具 net::ERR_PROXY_CONNECTION_FAILED
- Android中文件的遍历删除,统计大小,格式化数据
- php基于单例模式封装mysql类完整实例