Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
来源:互联网 发布:自动设计软件 编辑:程序博客网 时间:2024/05/20 22:30
mapPartitions
def mapPartitions[U](f: (Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]
该函数和map函数类似,只不过映射函数的参数由RDD中的每一个元素变成了RDD中每一个分区的迭代器。如果在映射的过程中需要频繁创建额外的对象,使用mapPartitions要比map高效的过。
比如,将RDD中的所有数据通过JDBC连接写入数据库,如果使用map函数,可能要为每一个元素都创建一个connection,这样开销很大,如果使用mapPartitions,那么只需要针对每一个分区建立一个connection。
参数preservesPartitioning表示是否保留父RDD的partitioner分区信息。
mapPartitionsWithIndex
def mapPartitionsWithIndex[U](f: (Int, Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]
函数作用同mapPartitions,不过提供了两个参数,第一个参数为分区的索引。
转载请注明:lxw的大数据田地 » Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
0 0
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(5)–mapPartitions/mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- [spark]Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(mapPartitions、mapPartitionsWithIndex)
- 3.2 Spark RDD 基本转换操作5-mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(5)–mapPartitions、
- RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- spark RDD算子(十二)之RDD 分区操作上mapPartitions, mapPartitionsWithIndex
- Spark编程之基本的RDD算子之map,mapPartitions, mapPartitionsWithIndex.
- Spark算子:RDD基本转换操作(2)–coalesce、repartition
- Spark算子:RDD基本转换操作(6)–zip、zipPartitions
- Spark算子:RDD基本转换操作(7)–zipWithIndex、zipWithUniqueId
- Spark算子:RDD基本转换操作(6)–zip、zipPartitions
- Spark算子:RDD基本转换操作(3)–randomSplit、glom
- Spark算子:RDD基本转换操作(2)–coalesce、repartition
- LintCode
- java对象序列化和反序列化操作记录
- hdu_1950_Bridging signals(LIS)
- 理解php-cli环境
- CentOS命令行安装VMware tools
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Cornell 感受
- 简单的自定义圆形图片(不能与BitmapUtils一起使用)
- SSL与TLS的区别以及介绍
- spark:map mapPartitions flatmap
- swiper的基础教程(十二)
- 动效,动效
- 141. Linked List Cycle
- HDU 1198