Spark 机器学习-实例演示- 线性回归《四》

来源：互联网发布：c语言基础课程编辑：程序博客网时间：2024/06/07 10:07

线性回归

1.简介

线性回归是利用称为线性回归方程的函数对一个或多个自变量和因变量之间关系进行建模的各种回归分析

只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归

2.基本过程

构造预测函数(h函数)

•构造cost函数

•利用梯度下降(上升)法来计算的最小值

•梯度下降(上升)计算的向量化

3.基本理论

h函数：

cost函数:

梯度下降:

Mean Square Error:

4.程序示例

import org.apache.spark.SparkContextimport org.apache.spark.mllib.regression.LinearRegressionWithSGDimport org.apache.spark.mllib.regression.LabeledPoint/** * Created by shaokai on 14-9-12. */object LinearRegression {  def main(args : Array[String]){    val sc = new SparkContext("local[2]","BinaryClassification","/Users/software/spark-0.9.0-incubating-bin-hadoop1")    val data = sc.textFile("/Users/workspace/chinahadoop/data/ridge-data/lpsa.data")    val parsedData = data.map { line =>      val parts = line.split(',')      LabeledPoint(parts(0).toDouble, parts(1).split(' ').map(x => x.toDouble).toArray)    }    //构建模型    val numIterations = 20    val model = LinearRegressionWithSGD.train(parsedData, numIterations)    //预测    val valuesAndPreds = parsedData.map { point =>      val prediction = model.predict(point.features)      (point.label, prediction)    }    //计算MSE    val MSE = valuesAndPreds.map{ case(v, p) => math.pow((v - p), 2)}.reduce(_ + _)/valuesAndPreds.count    println("training Mean Squared Error = " + MSE)  }}

0 0