Spark(十一) -- Mllib API编程 线性回归、KMeans、协同过滤演示
来源:互联网 发布:2000年总决赛第场数据 编辑:程序博客网 时间:2024/06/06 14:03
本文测试的Spark版本是1.3.1
在使用Spark的机器学习算法库之前,需要先了解Mllib中几个基础的概念和专门用于机器学习的数据类型
特征向量Vector:
Vector的概念是和数学中的向量是一样的,通俗的看其实就是一个装着Double数据的数组
Vector分为两种,分别是密集型和稀疏型
创建方式如下:
val array:Array[Double] = ... val vector = Vector.dense(array)//创建密集向量 val vector = Vector.sparse(array)// 创建稀疏向量
注意:Scala默认引用的是scala.collection.immutable.Vector,为了使用Mllib中的Vector,必须显示引入org.apache.spark.mllib.linalg.Vector
密集向量和稀疏向量的却别:
密集向量的值就是一个普通的Double数组
而稀疏向量由两个并列的 数组indices和values组成
例如:向量(1.0,0.0,3.0)用密集格式表示为[1.0,0.0,3.0],用稀疏格式表示为(3,[0,2],[1.0,3.0])
第一个3表示向量的长度,[0,2]就是indices数组,[1.0,3.0]是values数组
表示向量0的位置的值是1.0,而2的位置的值是3.0
含类标签的点 LabeledPoint:
一个含类标签的点由一个类标签(Double型)和一个向量(密集或者稀疏)组成
在Mllib中,监督学习算法会用到LabeledPoint,比如:回归和分类等
LabeledPoint通过case class LabeledPoint来创建
val pos = LabeledPoint(1.0,Vector.dense(1.0,0.0,3.0))val neg = LabeledPoint(1.0,Vector.sparse(3,Array(0,2),Array(1.0,3.0)))
矩阵 Matrix:
矩阵分为本地矩阵和分布式矩阵两种
本地矩阵创建方式如下:
val dm:Matrix = Matrices.dense(3,2,Array(1.0,3.0,5.0,2.0,4.0,6.0))//创建一个3*2的密集矩阵
可以看到,其存储的方式是一个矩阵大小(3,2)和一维数组[1.0,3.0,5.0,2.0,4.0,6.0]
分布式矩阵:
一个分布式的矩阵由一个Long型的行列索引和Double型的数据组成,分布式存储在一个或多个RDD中
最基本的RowMatrix:面向行的分布式矩阵,其行索引是没有具体含义的,其通过一个RDD来代表所有的行,每个行都是一个本地向量
RowMatrix创建方式:
val rows:RDD[Vector] = ...//RowMatrix可以从一个RDD[Vector]类型创建出来val mat:RowMatrix = new RowMatrix(rows)//获得RowMatrix的sizeval r = mat.numRows()val c = mat.numCols()
行索引矩阵IndexedRowMatrix:和RowMatrix类似,但是其行索引是有含义的,可以通过其来检索信息
创建方式:
val rows:RDD[IndexedRow] = ...//IndexedRowMatrix可以从一个RDD[IndexedRow]中创建,IndexedRow其实就是一个(Long,Vector)的封装类,就是比创建RowMatrix时多需要了一个Long类型的行索引val mat:IndexedRowMatrix = new IndexedRowMatrix(rows)//获得IndexedRowMatrix 的sizeval r = mat.numRows()val c = mat.numCols()//如果剔除掉IndexedRowMatrix 的行索引,就会变为一个RowMatrixval rowMatrix = mat.toRowMatrix()
三元组矩阵 CoordinateMatrix:其实体集合是一个RDD,每个实体是一个(i:Long,j:Long,value:Double)三元组,其中i表示行索引,j为列索引,value为对应的数据。一般只有当矩阵很大,而且很稀疏时才使用
CoordinateMatrix创建方式如下:
val enties:RDD[MatrixEntry] = ...//CoordinateMatrix可以从一个RDD[MatrixEntry]中创建,MatrixEntry其实就是一个(Long,Long,Double)的封装类val mat:CoordinateMatrix = new CoordinateMatrix(enties)//获得mat:CoordinateMatrix 的sizeval r = mat.numRows()val c = mat.numCols()//将其转换成IndexedRowMatrix,但是这个IndexedRowMatrix的行是稀疏的val indexedRowMatrix = mat.toIndexedRowMatrix()
其实从RowMatrix,IndexedRowMatrix到CoordinateMatrix,是一步一步的升级的,三者都是有一个RDD来表示所有的实体,只是其中的实体不同而已
RowMatrix的每个实体是本地向量
IndexedRowMatrix的每个实体都是Long类型的行索引加+本地向量
CoordinateMatrix的每个实体是两个Long类型的行列索引+本地向量
三者的创建方式也都是类似的
RowMatrix通过一个RDD[Vector]来创建,而一个Vector其实就是表示一个Double型的数组而已,在将其转换成RDD即可
IndexedRowMatrix通过一个RDD[IndexedRow]来创建,IndexedRow就是封装好了的(Long,Vector)类型,相信能够通过Vector来创建RowMatrix的,使用IndexedRow创建IndexedRowMatrix也不是什么难事
CoordinateMatrix通过一个RDD[MatrixEntry]来创建,MatrixEntry就更简单了,直接就是一个(Long,Long,Double)的封装类,连Vector都不需要了
三者的概念的联系就是如此而已,不要被他们的名字吓到了
以上是Mllib中几个基本概念和数据类型介绍,更多相关的操作如:对矩阵的汇总统计和相关性计算,分层抽样,假设检验,随机数据生成等请参考官方文档(其实就是提供了一个类似静态的工具类,调用其方法即可)
下面例举Mllib中线性回归,KMeans和协同过滤三种算法的来演示
线性回归:
在本例中使用到的Mllib专用数据类型为LabelPoint
测试数据如下:
测试数据下载地址
object LinearRegression { def main(args: Array[String]) { if (args.length < 2) { System.err.println("Usage : <master> <hdfs path>") System.exit(1) } val conf = new SparkConf().setMaster(args(0)).setAppName("LinearRegression") val sc = new SparkContext(conf) //读取hdfs上的测试数据,并将其转化为LabeledPoint类型 val data = sc.textFile(args(1)).map { lines => val parts = lines.split(",") LabeledPoint(parts(0).toDouble, Vectors.dense(parts(1).split(" ").map(_.toDouble))) } //设置算法的迭代次数 val numIterations = 100 //使用LinearRegressionWithSGD类的train,将数据(LabeledPoint)传进去进行模型训练,得到一个评估模型 val model = LinearRegressionWithSGD.train(data, numIterations) //使用模型的predict方法来进行预测,将LabeledPoint的features(也就是value部分)当做预测数据,并将预测结果和LabeledPoint的label(类标签)部分,组成一个元组返回 val result = data.map { point => val prediction = model.predict(point.features) (point.label, prediction) } //输出元组内容 result.foreach(println) //计算模型评分星级MSE val MSE = result.map { case (v, p) => math.pow((v - p), 2) }.mean() println("train result MSE:" + MSE)}
KMeans算法:
KMeans算法中用到的Mllib专用数据类型有:Vector
测试数据下载地址
object KMeans { def main(args: Array[String]) { if (args.length < 3) { System.err.println("Usage : <master> <hdfs path> <file save path>") System.exit(1) } val conf = new SparkConf().setMaster(args(0)).setAppName("KMeans") val sc = new SparkContext(conf) //读取数据,并转化成密集向量 val data = sc.textFile(args(1)).map { lines => Vectors.dense(lines.split(" ").map(_.toDouble)) } //实例化KMeans类,该类用来做算法的一些设置和运行算法 val km = new KMeans() //设置聚类中心点个数为2,最大迭代次数为20,run方法开始运算,传入测试数据集 val model = km.setK(2).setMaxIterations(20).run(data) //输出得到的模型的聚类中心 println("cluster num :" + model.k) for (i <- model.clusterCenters) { println(i.toString) } println("----------------------------------------") //使用自定义的数据对模型进行测试,让其判断这些向量分别属于哪个聚类中心 println("Vector 0.2 0.2 0.2 is closing to : " + model.predict(Vectors.dense("0.2 0.2 0.2".split(" ").map(_.toDouble)))) println("Vector 0.25 0.25 0.25 is closing to : " + model.predict(Vectors.dense("0.25 0.25 0.25".split(" ").map(_.toDouble)))) println("Vector 8 8 8 is closing to : " + model.predict(Vectors.dense("8 8 8".split(" ").map(_.toDouble)))) println("----------------------------------------") //将测试数据再次作为预测数据传入模型中进行预测 val result0 = model.predict(data).collect().foreach(println) println("----------------------------------------") //数据得到的结果,保存在hdfs中(直接打印也可以) val result = data.map { lines => val res = model.predict(lines) lines + " clustingCenter: " + res }.saveAsTextFile(args(2)) }}
协同过滤:
在此算法中有一个Rating数据类型是专门用来运算协同过滤的
Rating的定义如下:Rating(user:Int,product:Int,rating:Double)
user:用户id
product:产品id(可以是电影,商品等各种各样)
rating:该用户对该产品的评分
测试数据如下:
测试数据下载地址
object CF { def main(args: Array[String]) { if (args.length < 2) { System.err.println("Usage : <master> <hdfs path>") System.exit(1) } val conf = new SparkConf().setMaster(args(0)).setAppName("Collaborative Filtering") val sc = new SparkContext(conf) //读取文件,并转化为Rating类型 val ratings = sc.textFile(args(1)).map(_.split("::") match { case Array(user, item, rate) => Rating(user.toInt, item.toInt, rate.toDouble) }) //设置隐形因子个数,迭代次数 val rank = 10 val numIterations = 5 //调用ALS类的train方法,传入要训练的数据等进行模型训练 val model = ALS.train(ratings, rank, numIterations, 0.01) //将训练数据转换成(user,item)格式,以作为测试模型预测的数据(协同过滤的模型预测时是传入(user,item),然后预测出每个user-item对应的评分) val usersProducts = ratings.map { case Rating(user, item, rate) => (user, item) } //调用model的predict,传入(user, item)格式的测试数据进行预测,得到的结果为(user,item,rating) val prediction = model.predict(usersProducts).map { case Rating(user, item, rate) => ((user, item), rate) } //将得到的预测评分结果和原先的数据进行join操作,以便观察预测的准确度 val result = ratings.map { case Rating(user, item, rate) => ((user, item), rate) }.join(prediction) result.collect().foreach(println) }}
其实通过官方文档的example照葫芦画瓢,调用Mllib中各个算法就可以很方便快速的进行机器学习,但是这仅仅是会调用算法库而已,机器学习中的各种算法原理还是需要深入了解和掌握的。不然使用Mllib可以如此简单的调用机器学习的算法,那么和别人相比,怎么能够突出你的优势所在呢?
- Spark(十一) -- Mllib API编程 线性回归、KMeans、协同过滤演示
- Mllib API编程 线性回归、KMeans、协同过滤演示
- spark/MLlib 协同过滤算法
- Spark MLlib之协同过滤
- Spark MLlib中的协同过滤
- Spark MLlib 1.6 -- 协同过滤
- Spark MLlib中的协同过滤
- spark 1.6 MLlib 协同过滤
- Spark MLlib之协同过滤
- spark mllib实现线性回归
- Spark MLlib之线性回归
- Spark Mllib 回归学习笔记一(java):线性回归(线性,lasso,岭),广义回归
- Spark MLlib之线性回归源码分析
- Spark MLlib Linear Regression线性回归算法
- spark之MLlib机器学习-线性回归
- Spark MLlib 源代码解读之线性回归
- spark厦大-----协同过滤算法 -- spark.mllib包
- Spark MLlib之KMeans
- java基础篇——异常处理简述
- ZOJ 3203 Light Bulb (三分+计算几何)
- Android应用之——仿美团loading加载中动画
- navicat for mysql 9.0.15注册码
- ado链接C++
- Spark(十一) -- Mllib API编程 线性回归、KMeans、协同过滤演示
- linux下字符设备驱动的三种创建方式
- Autolayout(自动布局)
- 生成32位随机字符
- POJ 3744 水概率dp+水矩阵快速幂
- short类型复合操作符问题
- Android十六进制颜色说明
- PowerPC平台 Linux移植二
- _USRDLL _AFXDLL _WINDLL 三种dll编译宏的具体含义