spark常用RDD算子 汇总(java和scala版本)

来源:互联网 发布:长城软件纳税服务电话 编辑:程序博客网 时间:2024/06/07 01:43

github: https://github.com/zhaikaishun/spark_tutorial
spark RDD的算子挺多,有时候如何灵活的使用,该如何用一下子想不起来,这一段时间将spark的算子如何使用的例子给记录了下来,下面是spark RDD 的一些常用算子的使用
这些算子包括有java的,也有scala的语言,由于精力有限,暂时没有python的,以后有空再加上吧
spark RDD算子(一) parallelize,makeRDD,textFile

spark RDD算子(二) filter,map ,flatMap

spark RDD算子(三) distinct,union,intersection,subtract,cartesian

spark RDD算子(四)之创建键值对RDD mapToPair flatMapToPair

spark RDD算子(五)之键值对聚合操作 combineByKey

spark RDD算子(六)之键值对聚合操作reduceByKey,foldByKey,排序操作sortByKey

spark RDD算子(七)之键值对分组操作 groupByKey,cogroup

spark RDD算子(八)之键值对关联操作 subtractByKey, join, rightOuterJoin, leftOuterJoin

spark RDD算子(九)之基本的Action操作 first, take, collect, count, countByValue, reduce, aggregate, fold,top

spark RDD算子(十)之PairRDD的Action操作countByKey, collectAsMap

spark RDD算子(十一)之RDD Action 保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile 等

spark RDD算子(十二)之RDD 分区操作上mapPartitions, mapPartitionsWithIndex

spark RDD算子(十三)之RDD 分区 HashPartitioner,RangePartitioner,自定义分区

3 0
原创粉丝点击