spark randomSplit glom函数操作详解
来源:互联网 发布:linux 如何查看nat 编辑:程序博客网 时间:2024/06/05 06:51
def randomSplit(weights: Array[Double], seed: Long = Utils.random.nextLong): Array[RDD[T]]
该函数根据weights权重,将一个RDD切分成多个RDD。
该权重参数为一个Double数组
第二个参数为random的种子,基本可忽略。
scala> var rdd = sc.makeRDD(1 to 10,10)rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[16] at makeRDD at :21scala> rdd.collectres6: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10) scala> var splitRDD = rdd.randomSplit(Array(1.0,2.0,3.0,4.0))splitRDD: Array[org.apache.spark.rdd.RDD[Int]] = Array(MapPartitionsRDD[17] at randomSplit at :23, MapPartitionsRDD[18] at randomSplit at :23, MapPartitionsRDD[19] at randomSplit at :23, MapPartitionsRDD[20] at randomSplit at :23)//这里注意:randomSplit的结果是一个RDD数组scala> splitRDD.sizeres8: Int = 4//由于randomSplit的第一个参数weights中传入的值有4个,因此,就会切分成4个RDD,//把原来的rdd按照权重1.0,2.0,3.0,4.0,随机划分到这4个RDD中,权重高的RDD,划分到//的几率就大一些。//注意,权重的总和加起来为1,否则会不正常scala> splitRDD(0).collectres10: Array[Int] = Array(1, 4)scala> splitRDD(1).collectres11: Array[Int] = Array(3) scala> splitRDD(2).collectres12: Array[Int] = Array(5, 9)scala> splitRDD(3).collectres13: Array[Int] = Array(2, 6, 7, 8, 10)
def glom(): RDD[Array[T]]
该函数是将RDD中每一个分区中类型为T的元素转换成Array[T],这样每一个分区就只有一个数组元素。
scala> var rdd = sc.makeRDD(1 to 10,3)rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[38] at makeRDD at :21scala> rdd.partitions.sizeres33: Int = 3 //该RDD有3个分区scala> rdd.glom().collectres35: Array[Array[Int]] = Array(Array(1, 2, 3), Array(4, 5, 6), Array(7, 8, 9, 10))//glom将每个分区中的元素放到一个数组中,这样,结果就变成了3个数组
阅读全文
0 0
- spark randomSplit glom函数操作详解
- Spark算子:RDD基本转换操作(3)–randomSplit、glom
- Spark算子:RDD基本转换操作(3)–randomSplit、glom
- Spark算子:RDD基本转换操作(3)–randomSplit、glom
- 3.2 Spark RDD 基本转换操作3-randomSplit、glom
- SPark算子学习之FlatMap和Glom和randomSplit
- RDD基本转换操作(3)–randomSplit、glom
- Spark RDD中Transformation的map、flatMap、mapPartitions、glom详解
- Spark Transformation —— randomSplit
- Spark Transformation —— glom
- RDD数据操作之randomsplit
- Spark RDD操作:combineByKey函数详解
- 【Spark Java API】Transformation(2)—sample、randomSplit
- Spark SQL 函数操作
- Spark SQL 函数操作
- spark aggregate函数详解
- Spark之 shuffle 操作详解
- Spark RDD操作函数说明
- 好文收藏:哔哩哔哩大数据采集服务—Lancer系统设计与实践
- c#TextBox输入框自动提示、自动完成、自动补全功能(初级方式)
- shiro 认证(二)
- Servlet中获取客服端Ip地址
- 带你吃透RTMP
- spark randomSplit glom函数操作详解
- Activity 启动模式
- kylin2.0之spark构建cube
- SQL SERVER 清除日志
- vim插件之MiniBufExplorer
- WKWebView
- golang数组
- [日推荐]『口红IN』女票生气了怎么哄?这里有妙招!
- 分布式计算、并行计算及集群、网格、云计算的区别