3.2 Spark RDD 基本转换操作3-randomSplit、glom
来源:互联网 发布:淘宝360度主图怎么做 编辑:程序博客网 时间:2024/05/22 03:52
1 randomSplit
def randomSplit(weights: Array[Double], seed: Long = Utils.random.nextLong): Array[RDD[T]]
该函数根据weights权重,将一个RDD切分成多个RDD,返回一个RDD数组。
该权重参数为一个Double数组,权重高的RDD,划分到的几率就大一些。
权重的总和加起来为1,否则会不正常
第二个参数为random的种子,基本可忽略。
例子:
scala> var rdd = sc.makeRDD(1 to 10,10)
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[16] at makeRDD at :21
scala> rdd.collect
res6: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
scala> var splitRDD = rdd.randomSplit(Array(1.0,2.0,3.0,4.0))
splitRDD: Array[org.apache.spark.rdd.RDD[Int]] = Array(MapPartitionsRDD[17] at randomSplit at :23,
MapPartitionsRDD[18] at randomSplit at :23,
MapPartitionsRDD[19] at randomSplit at :23,
MapPartitionsRDD[20] at randomSplit at :23)
//这里注意:randomSplit的结果是一个RDD数组
scala> splitRDD.size
res8: Int = 4
//由于randomSplit的第一个参数weights中传入的值有4个,因此,就会切分成4个RDD,
//把原来的rdd按照权重1.0,2.0,3.0,4.0,随机划分到这4个RDD中,权重高的RDD,划分到//的几率就大一些。
scala> splitRDD(0).collect
res10: Array[Int] = Array(1, 4)
scala> splitRDD(1).collect
res11: Array[Int] = Array(3)
scala> splitRDD(2).collect
res12: Array[Int] = Array(5, 9)
scala> splitRDD(3).collect
res13: Array[Int] = Array(2, 6, 7, 8, 10)
再执行一次
scala> var splitRDD = rdd.randomSplit(Array(1.0,2.0,3.0,4.0))
scala> splitRDD.size
res7: Int = 4
scala> splitRDD(0).collect
res8: Array[Int] = Array(5, 10)
scala> splitRDD(1).collect
res9: Array[Int] = Array(3, 6)
scala> splitRDD(2).collect
res10: Array[Int] = Array(4, 9)
scala> splitRDD(3).collect
res11: Array[Int] = Array(1, 2, 7, 8)
2 glom
def glom(): RDD[Array[T]] glom:vt;抢,看
该函数是将RDD中每一个分区中类型为T的元素转换成Array[T],这样每一个分区就只有一个数组元素。
例子:
scala> var rdd = sc.makeRDD(1 to 10,3)
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[38] at makeRDD at :21
scala> rdd.partitions.size
res33: Int = 3 //该RDD有3个分区
scala> rdd.glom().collect
res35: Array[Array[Int]] = Array(Array(1, 2, 3), Array(4, 5, 6), Array(7, 8, 9, 10))
//glom将每个分区中的元素放到一个数组中,这样,结果就变成了3个数组
- 3.2 Spark RDD 基本转换操作3-randomSplit、glom
- Spark算子:RDD基本转换操作(3)–randomSplit、glom
- Spark算子:RDD基本转换操作(3)–randomSplit、glom
- Spark算子:RDD基本转换操作(3)–randomSplit、glom
- RDD基本转换操作(3)–randomSplit、glom
- spark randomSplit glom函数操作详解
- 3.2 Spark RDD 基本转换操作1-map、flatMap、distinct
- 3.2 Spark RDD 基本转换操作2-分区:coalesce、repartition
- 3.2 Spark RDD 基本转换操作5-mapPartitions、mapPartitionsWithIndex
- SPark算子学习之FlatMap和Glom和randomSplit
- RDD数据操作之randomsplit
- spark RDD 基本操作
- Spark RDD基本操作
- Spark RDD基本操作
- Spark编程之基本的RDD算子之glom,substract,substractByKey,intersection,distinct,union
- 【spark,rdd,2】RDD基本转换算子
- Spark算子:RDD基本转换操作(5)–mapPartitions、
- Spark算子:RDD基本转换操作(mapPartitions、mapPartitionsWithIndex)
- Extjs grid 分页多选 数据不会丢失
- java设计模式总结一:简介和原则
- 不死心,传谷歌Pixel团队或将开发低端智能机
- 俄罗斯推“普京版”诺基亚 3310,售价超两台iPhone 7P
- 取代传统电脑?IBM今年将推50量子位计算机
- 3.2 Spark RDD 基本转换操作3-randomSplit、glom
- java数组详解
- 瞄准社交+体育 NBA与微博结成长期战略合作
- 阿里1.77亿注资印度电商平台,或将拿下控股权
- Facebook聊天机器人错误回应高达7成,去年大热的bot为什么遭遇如此大的挫折?
- 3.2 Spark RDD 基本转换操作4-集合:union、intersection、subtract
- 关于scrolltop兼容性问题
- 区间dp0.1
- 6.JAVA后端学习笔记——Java虚拟机相关2