RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
来源:互联网 发布:开票软件的控制台 编辑:程序博客网 时间:2024/06/05 02:37
mapPartitions
def mapPartitions[U](f: (Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]
该函数和map函数类似,只不过映射函数的参数由RDD中的每一个元素变成了RDD中每一个分区的迭代器。如果在映射的过程中需要频繁创建额外的对象,使用mapPartitions要比map高效的过。
比如,将RDD中的所有数据通过JDBC连接写入数据库,如果使用map函数,可能要为每一个元素都创建一个connection,这样开销很大,如果使用mapPartitions,那么只需要针对每一个分区建立一个connection。
参数preservesPartitioning表示是否保留父RDD的partitioner分区信息。
mapPartitionsWithIndex
def mapPartitionsWithIndex[U](f: (Int, Iterator[T]) => Iterator[U], preservesPartitioning: Boolean = false)(implicit arg0: ClassTag[U]): RDD[U]
函数作用同mapPartitions,不过提供了两个参数,第一个参数为分区的索引。
0 0
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(5)–mapPartitions/mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- 3.2 Spark RDD 基本转换操作5-mapPartitions、mapPartitionsWithIndex
- [spark]Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- Spark算子:RDD基本转换操作(mapPartitions、mapPartitionsWithIndex)
- Spark算子:RDD基本转换操作(5)–mapPartitions、
- spark RDD算子(十二)之RDD 分区操作上mapPartitions, mapPartitionsWithIndex
- Spark编程之基本的RDD算子之map,mapPartitions, mapPartitionsWithIndex.
- Spark算子:RDD基本转换操作(2)–coalesce、repartition
- Spark算子:RDD基本转换操作(6)–zip、zipPartitions
- RDD基本转换操作(1)–map、flagMap、distinct
- RDD基本转换操作(2)–coalesce、repartition
- RDD基本转换操作(3)–randomSplit、glom
- RDD基本转换操作(4)–union、intersection、subtract
- 题目15:链表中倒数第K个结点
- Java jdbc批量多线程读取CVS文件入库性能优化篇
- Android必备神级工具(开发,插件,效率)
- Standalone mongod转化为shard cluster
- GitLab集成LDAP登录并解决OpenLDAP的memberOf问题
- RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- MySQL Blob类型简介
- Android中的原生和 H5
- UCI用法说明(一种读写文件的方法)
- Android-PullRefreshLayout
- LeetCode----Two Sum
- 类方法创建button
- 极客班C++设计模式第二周课程笔记——常用模式(2)
- RDD基本转换操作(6)–zip、zipPartitions