Spark ML随机森林
来源:互联网 发布:红叶知弦调教 编辑:程序博客网 时间:2024/05/04 10:40
随机森林
做分类
做回归,即预测
多个决策树构成,通过多个决策树投票结果分数进行分类,不容易出现过度拟合
在生成的过程当中分别在行方向和 列方向上添加随机过程,行方向上构建决策树时采用放回抽样(bootstraping)得到训练数据,列方向上采用无放 回随机抽样得到特征子集,并据此得到其最优切分点
Spark ML优化随机森林
在 Spark 平台上,传统 单机形式的迭代方式必须要进行相应改进才能适用于分布式环境,这是因为在分布式环境下,数据也 是分布式的,算法设计不得当会生成大量的IO 操作,影响算法效率
三个优化策略
1.切分点抽样统计
在单机环境下的决策树对连续变量进行切分点选择时,一般是通过对特征点进 行排序,然后取相邻两个数之间的点作为切分点,
如果在分布式环境下 如此操作的话,会带来大量的网络传输操作,特别是当数据量达到 PB 级时,算法效率将极为低下
Spark 中的随机森林在构建决策树时,会对各分区采用一定的子特征策略进行抽样, 然后生成各个分区的统计数据,并最终得到切分点
2.切分特征装箱(Binning)
决策树的构建过程就是对特征的取值不断进行划分的过程
对于离散 的特征,如果有 M 个值,最多 个划分
如果值是有序的,那么就最多 M-1 个划分(按老,中,少的序,那么只有 m-1 个,即 2 种划分,老|中,少;老,中|少)
划分的点就是 split(切分点),划分出的区间就是 bin。对于连续特征 ,理论上 split 是无数的,在分布环境下不可能取出所有的值,因此它采用的是1中的切点抽样统计方 法
3.逐层训练(level-wise training)
单机版本的决策数生成过程是通过递归调用(本 质上是深度优先)的方式构造树,在构造树的同时,需要移动数据,将同一个子节点的数据移动到一 起
分布式环境下采用的策略是逐层构建树节点(本质上是广度优先),这样遍历所有数据的次数 等于所有树中的最大层数。每次遍历时,只需要计算每个节点所有切分点统计参数,遍历完后,根据 节点的特征划分,决定是否切分,以及如何切分
使用Spark ML分别进行回归与分类建模
0 原数据集的模样
No,year,month,day,hour,pm,DEWP,TEMP,PRES,cbwd,Iws,Is,Ir1,2010,1,1,0,NaN,-21.0,-11.0,1021.0,NW,1.79,0.0,0.02,2010,1,1,1,NaN,-21,-12,1020,NW,4.92,0,03,2010,1,1,2,NaN,-21,-11,1019,NW,6.71,0,04,2010,1,1,3,NaN,-21,-14,1019,NW,9.84,0,05,2010,1,1,4,NaN,-20,-12,1018,NW,12.97,0,06,2010,1,1,5,NaN,-19,-10,1017,NW,16.1,0,07,2010,1,1,6,NaN,-19,-9,1017,NW,19.23,0,08,2010,1,1,7,NaN,-19,-9,1017,NW,21.02,0,09,2010,1,1,8,NaN,-19,-9,1017,NW,24.15,0,010,2010,1,1,9,NaN,-20,-8,1017,NW,27.28,0,011,2010,1,1,10,NaN,-19,-7,1017,NW,31.3,0,012,2010,1,1,11,NaN,-18,-5,1017,NW,34.43,0,013,2010,1,1,12,NaN,-19,-5,1015,NW,37.56,0,014,2010,1,1,13,NaN,-18,-3,1015,NW,40.69,0,015,2010,1,1,14,NaN,-18,-2,1014,NW,43.82,0,016,2010,1,1,15,NaN,-18,-1,1014,cv,0.89,0,0……
1 读取pm.csv,将含有缺失值的行扔掉(或用均值填充)将数据集分为两部分,0.8比例作为训练集,0.2比例作为测试集
case class data(No: Int, year: Int, month: Int, day: Int, hour: Int, pm: Double, DEWP: Double, TEMP: Double, PRES: Double, cbwd: String, Iws: Double, Is: Double, Ir: Double) def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local[*]").setAppName("foreast") val sc = new SparkContext(conf) val sqlContext = new SQLContext(sc) Logger.getLogger("org").setLevel(Level.ERROR) val root = MyRandomForeast.getClass.getResource("/") import sqlContext.implicits._ val df = sc.textFile(root + "pm.csv").map(_.split(",")).filter(_ (0) != "No").filter(!_.contains("NaN")).map(x => data(x(0).toInt, x(1).toInt, x(2).toInt, x(3).toInt, x(4).toInt, x(5).toDouble, x(6).toDouble, x(7).toDouble, x(8).toDouble, x(9), x(10).toDouble, x(11).toDouble, x(12).toDouble)).toDF.drop("No").drop("year")
2 使用month,day,hour,DEWP,TEMP,PRES,cbwd,Iws,Is,Ir作为特征列(除去No,year,
pm),pm作为label列,使用训练集、随机森林算法进行回归建模,使用回归模型对测试集进行预测,并评估。
val splitdf = df.randomSplit(Array(0.8, 0.2)) val (train, test) = (splitdf(0), splitdf(1)) val traindf = train.withColumnRenamed("pm", "label") val indexer = new StringIndexer().setInputCol("cbwd").setOutputCol("cbwd_") val assembler = new VectorAssembler().setInputCols(Array("month", "day", "hour", "DEWP", "TEMP", "PRES", "cbwd_", "Iws", "Is", "Ir")).setOutputCol("features") import org.apache.spark.ml.Pipeline val rf = new RandomForestRegressor().setLabelCol("label").setFeaturesCol("features") // setMaxDepth最大20,会大幅增加计算时间,增大能有效减小根均方误差 //setMaxBins我觉得和数据量相关,单独增大适得其反,要和setNumTrees一起增大 //目前这个参数得到的评估结果(根均方误差)46.0002637676162 // val numClasses=2 // val categoricalFeaturesInfo = Map[Int, Int]()// Empty categoricalFeaturesInfo indicates all features are continuous. val pipeline = new Pipeline().setStages(Array(indexer, assembler, rf)) val model = pipeline.fit(traindf) val testdf = test.withColumnRenamed("pm", "label") val labelsAndPredictions = model.transform(testdf) labelsAndPredictions.select("prediction", "label", "features").show(false) val eva = new RegressionEvaluator().setLabelCol("label").setPredictionCol("prediction") val accuracy = eva.evaluate(labelsAndPredictions) println(accuracy) val treemodel = model.stages(2).asInstanceOf[RandomForestRegressionModel] println("Learned regression forest model:\n" + treemodel.toDebugString)
3 按照下面标准处理pm列,数字结果放进(levelNum)列,字符串结果放进(levelStr)列
优(0) 50
良(1)50~100
轻度污染(2) 100~150
中度污染(3) 150~200
重度污染(4) 200~300
严重污染(5) 大于300及以上
//使用Bucketizer特征转换,按区间划分val splits = Array(Double.NegativeInfinity, 50, 100, 150, 200, 300, Double.PositiveInfinity) val bucketizer = new Bucketizer().setInputCol("pm").setOutputCol("levelNum").setSplits(splits) val bucketizerdf = bucketizer.transform(df) val tempdf = sqlContext.createDataFrame( Seq((0.0, "优"), (1.0, "良"), (2.0, "轻度污染"), (3.0, "中度污染"), (4.0, "重度污染"), (5.0, "严重污染")) ).toDF("levelNum", "levelStr") val df2 = bucketizerdf.join(tempdf, "levelNum").drop("pm") df2 show
4 使用month,day,hour,DEWP,TEMP,PRES,cbwd,Iws,Is,Ir作为特征列(除去No,year,pm),levelNum作为label列,使用训练集、随机森林算法进行分类建模。使用分类模型对测试集进行预测对预测结果df进行处理,基于prediction列生成predictionStr(0-5转换优-严重污染),对结果进行评估
val splitdf2 = df2.randomSplit(Array(0.8, 0.2)) val (train2, test2) = (splitdf2(0), splitdf2(1)) val traindf2 = train2.withColumnRenamed("levelNum", "label") val indexer2 = new StringIndexer().setInputCol("cbwd").setOutputCol("cbwd_") val assembler2 = new VectorAssembler().setInputCols(Array("month", "day", "hour", "DEWP", "TEMP", "PRES", "cbwd_", "Iws", "Is", "Ir")).setOutputCol("features") val rf2 = new RandomForestClassifier().setLabelCol("label").setFeaturesCol("features") val pipeline2 = new Pipeline().setStages(Array(indexer2, assembler2, rf2)) val model2 = pipeline2.fit(traindf2) val testdf2 = test2.withColumnRenamed("levelNum", "label") val labelsAndPredictions2 = model2.transform(testdf2) labelsAndPredictions2.select("label", "prediction", "features").show val eva2 = new MulticlassClassificationEvaluator().setLabelCol("label").setPredictionCol("prediction").setMetricName("precision") val accuracy2 = eva2.evaluate(labelsAndPredictions2) println("Test Error = " + (1.0 - accuracy2)) val treeModel2 = model2.stages(2).asInstanceOf[RandomForestClassificationModel] println("learned classifier tree node:\n" + treeModel2.toDebugString)
- Spark ML随机森林
- Spark ML包随机森林回归
- spark ml 随机森林源码笔记一
- spark ml 随机森林源码笔记二
- spark ml 随机森林源码笔记三
- spark ml 随机森林源码笔记四
- spark ml 随机森林源码笔记五
- SPARK官方实例:两种方法实现随机森林模型(ML/MLlib)
- SPARK模型实例:两种方法实现随机森林模型(MLlib和ML)
- 小试随机森林(random forest)算法ml
- 小试随机森林(random forest)算法ml
- Scala-Spark实现RF(随机森林)
- spark随机森林源码分析三
- Spark随机森林之多分类模型
- 基于Spark实现随机森林代码
- spark机器学习实现之随机森林
- spark ml
- Spark 随机森林算法原理、源码分析及案例实战
- String StringBuffer 和StringBuild之间的区别
- 我的第一个SpringBoot应用
- Angular 元数据
- 设计模式——单件模式(Singleton Pattern)
- Java中String、StringBuffer、StringBuilder的区别
- Spark ML随机森林
- Github使用教程------ Github客户端使用方法
- Left Right Action Support
- 使用线程池与内部类实现方法异步
- Spark Sql 编程式结构DataType转换 代码类小结
- 简单的纯java语言登录和注册功能
- Win32API学习笔记第七章(二)
- 第十一章(1至2节) 表示与描述
- LeetCode | 47. Permutations II