Spark算子:RDD基本转换操作(5)–mapPartitions、
来源:互联网 发布:数列相关书籍 知乎 编辑:程序博客网 时间:2024/06/06 00:12
mapPartitions
def mapPartitions[U](f: (Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]
该函数和map函数类似,只不过映射函数的参数由RDD中的每一个元素变成了RDD中每一个分区的迭代器。如果在映射的过程中需要频繁创建额外的对象,使用mapPartitions要比map高效的过。
比如,将RDD中的所有数据通过JDBC连接写入数据库,如果使用map函数,可能要为每一个元素都创建一个connection,这样开销很大,如果使用mapPartitions,那么只需要针对每一个分区建立一个connection。
参数preservesPartitioning表示是否保留父RDD的partitioner分区信息。
- var rdd1 = sc.makeRDD(1 to 5,2)
- //rdd1有两个分区
- scala> var rdd3 = rdd1.mapPartitions{ x => {
- | var result = List[Int]()
- | var i = 0
- | while(x.hasNext){
- | i += x.next()
- | }
- | result.::(i).iterator
- | }}
- rdd3: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[84] at mapPartitions at :23
- //rdd3将rdd1中每个分区中的数值累加
- scala> rdd3.collect
- res65: Array[Int] = Array(3, 12)
- scala> rdd3.partitions.size
- res66: Int = 2
mapPartitionsWithIndex
def mapPartitionsWithIndex[U](f: (Int, Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]
函数作用同mapPartitions,不过提供了两个参数,第一个参数为分区的索引。
- var rdd1 = sc.makeRDD(1 to 5,2)
- //rdd1有两个分区
- var rdd2 = rdd1.mapPartitionsWithIndex{
- (x,iter) => {
- var result = List[String]()
- var i = 0
- while(iter.hasNext){
- i += iter.next()
- }
- result.::(x + "|" + i).iterator
- }
- }
- //rdd2将rdd1中每个分区的数字累加,并在每个分区的累加结果前面加了分区索引
- scala> rdd2.collect
- res13: Array[String] = Array(0|3, 1|12)
0 0
- Spark算子:RDD基本转换操作(5)–mapPartitions、
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(5)–mapPartitions/mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- [spark]Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(mapPartitions、mapPartitionsWithIndex)
- 3.2 Spark RDD 基本转换操作5-mapPartitions、mapPartitionsWithIndex
- RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(2)–coalesce、repartition
- Spark算子:RDD基本转换操作(6)–zip、zipPartitions
- Spark算子:RDD基本转换操作(7)–zipWithIndex、zipWithUniqueId
- Spark算子:RDD基本转换操作(6)–zip、zipPartitions
- Spark算子:RDD基本转换操作(3)–randomSplit、glom
- Spark算子:RDD基本转换操作(2)–coalesce、repartition
- Spark算子:RDD基本转换操作(2)–coalesce、repartition
- Spark算子:RDD基本转换操作(3)–randomSplit、glom
- 关于npm的环境变量配置、prefix
- Object-C 中各数据类型转换 NSData转NSString,Byte,UIImage
- Apache 安全设置(持续记录)
- 2016太原网络营销师郭文军教你如何利用网站赚钱?
- 使用“cmd /c start”时遇到路径中含有空格的解决方法
- Spark算子:RDD基本转换操作(5)–mapPartitions、
- 原 ajax.googleapis.com等公共库加载被“墙”的解决方法!
- 【C++】深度探索C++对象模型之虚拟成员函数(virtual member function)
- While reading /Users/cola/Desktop/csun first 2/Res/Quasar/Quasar_Tex_Up.png pngcrush caught libpng
- Android实战 - 音心播放器 (通知实现音乐的播放/暂停/下一曲控制)
- 使用Feeds excel 导入的方法
- EL中的param 与params
- 【DT】笔记
- 关于Android 传感器坐标与读数的进一步讨论