RDD基本转换操作(7)–zipWithIndex、zipWithUniqueId
来源:互联网 发布:c语言接口 结构 编辑:程序博客网 时间:2024/05/17 04:00
zipWithIndex
def zipWithIndex(): RDD[(T, Long)]
该函数将RDD中的元素和这个元素在RDD中的ID(索引号)组合成键/值对。
zipWithUniqueId
def zipWithUniqueId(): RDD[(T, Long)]
该函数将RDD中元素和一个唯一ID组合成键/值对,该唯一ID生成算法如下:
每个分区中第一个元素的唯一ID值为:该分区索引号,
每个分区中第N个元素的唯一ID值为:(前一个元素的唯一ID值) + (该RDD总的分区数)
看下面的例子:
0 0
- RDD基本转换操作(7)–zipWithIndex、zipWithUniqueId
- Spark算子:RDD基本转换操作(7)–zipWithIndex、zipWithUniqueId
- Spark算子:RDD基本转换操作(7)–zipWithIndex、zipWithUniqueId
- Spark算子:RDD基本转换操作(7)–zipWithIndex、zipWithUniqueId
- 3.2 Spark RDD 基本转换操作6-zip、zipPartitions 、zipWithIndex、zipWithUniqueId
- Spark编程之基本的RDD算子之zip,zipPartitions,zipWithIndex,zipWithUniqueId
- Spark算子:RDD基本转换操作(5)–mapPartitions、
- Spark算子:RDD基本转换操作(2)–coalesce、repartition
- Spark算子:RDD基本转换操作(6)–zip、zipPartitions
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- RDD基本转换操作(1)–map、flagMap、distinct
- RDD基本转换操作(2)–coalesce、repartition
- RDD基本转换操作(3)–randomSplit、glom
- RDD基本转换操作(4)–union、intersection、subtract
- RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- RDD基本转换操作(6)–zip、zipPartitions
- Spark算子:RDD基本转换操作(6)–zip、zipPartitions
- Spark算子:RDD基本转换操作(5)–mapPartitions、mapPartitionsWithIndex
- system类中arraycopy方法使用
- 桥梁模式Bridge
- 杂
- ROS
- 京东2017校招算法题
- RDD基本转换操作(7)–zipWithIndex、zipWithUniqueId
- JMeter教程
- ArrayList和LinkedList的几种循环遍历方式及性能对比分析
- 数据挖掘算法——决策树C4.5
- ListView 的position和id的区别
- spark core 日志屏蔽
- 亚马逊AWS:正确设置FTP
- IOS三种多线程编程的技术
- SSM框架——详细整合教程(Spring+SpringMVC+MyBatis)