MLLib之LogisticRegression
来源:互联网 发布:dede cms 编辑:程序博客网 时间:2024/06/16 22:09
MLlib 线性回归
1. 数据输入:
case_data.txt
1,1 1
1,1.1 0.9
1,1 1.2
2,10 11
2,9 10
2,10 12
3,50 52
3,49 50
3,48 49
from pyspark.mllib.linalg import Vectors
from pyspark.mllib.regression import LabeledPoint
def parseLine(line):
parts = line.split(',')
label = float(parts[0])
print(parts[1])
print(parts[1].split(' '))
features = Vectors.dense([float(x) for x in parts[1].split(' ')])
return LabeledPoint(label, features)
df = sc.textFile(dataPath).map(parseLine)
2. 训练模型:
def logisticRegression(df,arguments):
"""
Only supports binary classification
"""
from pyspark.mllib.classification import LogisticRegressionWithSGD
maxIter = 100
if arguments.maxIter != None:
maxIter = float(arguments.maxIter)
lrModel = LogisticRegressionWithSGD.train(df,iterations=maxIter)
return lrModel
modelPath = arguments.modelPath
model.save(sc, modelPath)
3. 预测输入数据
data=Vectors.dense([float(x) for x in dataSet.split(',')])
预测:
from pyspark.mllib.classification import LogisticRegressionModel
model = LogisticRegressionModel.load(sc,modelPath)
prediction = model.predict(data)
- MLLib之LogisticRegression
- Spark MLlib 源代码解析之逻辑回归LogisticRegression
- 二 Spark机器学习MLlib: LogisticRegression
- ML之LogisticRegression
- spark.mllib源码阅读-分类算法1-LogisticRegression
- LogisticRegression
- LogisticRegression
- LogisticRegression
- 【spark+python】采用LogisticRegression(MLLib)对MNIST的0-1数字进行识别
- 使用Spark MLlib的逻辑回归(LogisticRegression)进行用户分类预测识别
- mllib之高数篇
- Spark MLlib之矩阵
- Spark MLlib之KMeans
- spark MLlib 之向量
- Spark MLlib之矩阵
- spark mllib之Pipelines
- Spark MLlib之协同过滤
- spark笔记-MLlib之kmeans
- Requests库的入门
- Java编程思想之多态
- queue stack priority_queue的基本操作
- 基于位置的服务
- github 代码托管
- MLLib之LogisticRegression
- 优云软件助阵GOPS·2017全球运维大会北京站
- 【ssm框架】 spring+springMVC+mySQL+myBatis+freemarker+Maven小示例
- win10+ubuntu16_04双系统安装
- 移动端rem适配
- MVG读书笔记——射影变换的校正(零)
- Entity Framework Core 批处理语句
- hpuoj 【1068】万数归一【模拟】
- 浏览器关闭后,Session就销毁了吗?