Spark中ml和mllib的区别
来源:互联网 发布:单片机usb驱动下载 编辑:程序博客网 时间:2024/05/13 04:13
Spark中ml和mllib的主要区别和联系如下:
- ml和mllib都是Spark中的机器学习库,目前常用的机器学习功能2个库都能满足需求。
- spark官方推荐使用ml, 因为ml功能更全面更灵活,未来会主要支持ml,mllib很有可能会被废弃(据说可能是在spark3.0中deprecated)。
- ml主要操作的是DataFrame, 而mllib操作的是RDD,也就是说二者面向的数据集不一样。相比于mllib在RDD提供的基础操作,ml在DataFrame上的抽象级别更高,数据和操作耦合度更低。
- DataFrame和RDD什么关系?DataFrame是Dataset的子集,也就是Dataset[Row], 而DataSet是对RDD的封装,对SQL之类的操作做了很多优化。
- 相比于mllib在RDD提供的基础操作,ml在DataFrame上的抽象级别更高,数据和操作耦合度更低。
- ml中的操作可以使用pipeline, 跟sklearn一样,可以把很多操作(算法/特征提取/特征转换)以管道的形式串起来,然后让数据在这个管道中流动。大家可以脑补一下Linux管道在做任务组合时有多么方便。
- ml中无论是什么模型,都提供了统一的算法操作接口,比如模型训练都是
fit
;不像mllib中不同模型会有各种各样的trainXXX
。 - mllib在spark2.0之后进入
维护状态
, 这个状态通常只修复BUG不增加新功能。
以上就是ml和mllib的主要异同点。下面是ml和mllib逻辑回归的例子,可以对比看一下, 虽然都是模型训练和预测,但是画风很不一样。
mllib中逻辑回归的例子
sparse_data = [ LabeledPoint(0.0, SparseVector(2, {0: 0.0})), LabeledPoint(1.0, SparseVector(2, {1: 1.0})), LabeledPoint(0.0, SparseVector(2, {0: 1.0})), LabeledPoint(1.0, SparseVector(2, {1: 2.0})) ] lrm = LogisticRegressionWithSGD.train(sc.parallelize(sparse_data), iterations=10) lrm.predict(array([0.0, 1.0])) lrm.predict(array([1.0, 0.0])) lrm.predict(SparseVector(2, {1: 1.0})) lrm.predict(SparseVector(2, {0: 1.0})) import os, tempfile path = tempfile.mkdtemp() lrm.save(sc, path) sameModel = LogisticRegressionModel.load(sc, path) sameModel.predict(array([0.0, 1.0])) sameModel.predict(SparseVector(2, {0: 1.0})) from shutil import rmtree try: rmtree(path)except: pass multi_class_data = [ LabeledPoint(0.0, [0.0, 1.0, 0.0]), LabeledPoint(1.0, [1.0, 0.0, 0.0]), LabeledPoint(2.0, [0.0, 0.0, 1.0]) ] data = sc.parallelize(multi_class_data) mcm = LogisticRegressionWithLBFGS.train(data, iterations=10, numClasses=3) mcm.predict([0.0, 0.5, 0.0]) mcm.predict([0.8, 0.0, 0.0]) mcm.predict([0.0, 0.0, 0.3])
ml中的逻辑回归的例子
from pyspark.sql import Row from pyspark.ml.linalg import Vectors bdf = sc.parallelize([ Row(label=1.0, weight=2.0, features=Vectors.dense(1.0)), Row(label=0.0, weight=2.0, features=Vectors.sparse(1, [], []))]).toDF() blor = LogisticRegression(maxIter=5, regParam=0.01, weightCol="weight") blorModel = blor.fit(bdf) blorModel.coefficientsDenseVector([5.5 ]) blorModel.intercept-2.68 mdf = sc.parallelize([ Row(label=1.0, weight=2.0, features=Vectors.dense(1.0)), Row(label=0.0, weight=2.0, features=Vectors.sparse(1, [], [])), Row(label=2.0, weight=2.0, features=Vectors.dense(3.0))]).toDF() mlor = LogisticRegression(maxIter=5, regParam=0.01, weightCol="weight", family="multinomial") mlorModel = mlor.fit(mdf) print(mlorModel.coefficientMatrix)DenseMatrix([[-2.3 ], [ 0.2 ], [ 2.1 ]]) mlorModel.interceptVectorDenseVector([2.0 , 0.8 , -2.8 ]) test0 = sc.parallelize([Row(features=Vectors.dense(-1.0))]).toDF() result = blorModel.transform(test0).head() result.prediction0.0 result.probabilityDenseVector([0.99 , 0.00 ]) result.rawPredictionDenseVector([8.22 , -8.22 ]) test1 = sc.parallelize([Row(features=Vectors.sparse(1, [0], [1.0]))]).toDF() blorModel.transform(test1).head().prediction1.0 blor.setParams("vector")Traceback (most recent call last): TypeError: Method setParams forces keyword arguments. lr_path = temp_path + "/lr" blor.save(lr_path) lr2 = LogisticRegression.load(lr_path) lr2.getMaxIter()5 model_path = temp_path + "/lr_model" blorModel.save(model_path) model2 = LogisticRegressionModel.load(model_path) blorModel.coefficients[0] == model2.coefficients[0]True blorModel.intercept == model2.interceptTrue
阅读全文
0 0
- Spark中ml和mllib的区别
- 请别再问我Spark的MLlib和ML库的区别
- spark mllib和ml类里面的区别
- spark ml和mllib库的说明
- Spark中ml和mllib库特征处理例子及其文档总结
- 基于spark Mllib(ML)聚类实战
- SPARK模型实例:两种方法实现随机森林模型(MLlib和ML)
- DM和ML的区别
- Spark中组件Mllib的学习12之密集向量和稀疏向量的生成
- spark MLlib、ML机器学习之Logistic回归
- Spark MLlib中FPGrowth和FPTree详解之一
- Spark MLlib中FPGrowth和FPTree详解之二
- Spark的Ml pipeline
- Spark中组件Mllib的学习19之分层抽样
- 如何解释spark mllib中ALS算法的原理?
- Spark中组件Mllib的学习 RowMatrix行矩阵
- Spark MLlib中基于DataFrame的 pipeline介绍
- Spark-1.4.1+MLlib的安装和搭建
- 简单了解Python
- Linux系统下将程序中的数据写入gunplot并绘图
- CodeForces 367B. Sereja ans Anagrams(经典STL)
- Hive与Hbase的区别以及两者的应用场景
- 表头、表尾固定 表中数据有滚动轴
- Spark中ml和mllib的区别
- QToolBox使用整理
- 【Lca 在线st算法】hdu 2586 How far away ?
- 去除ipone/ipad 手机端网页默认button的样式
- ZOJ3856 Goldbach[FFT]
- Jfree实现统计图
- 笔记
- C语言inline详细讲解
- C语言入门之函数的参数和返回值