spark常用RDD算子 汇总(java和scala版本)
来源:互联网 发布:长城软件纳税服务电话 编辑:程序博客网 时间:2024/06/07 01:43
github: https://github.com/zhaikaishun/spark_tutorial
spark RDD的算子挺多,有时候如何灵活的使用,该如何用一下子想不起来,这一段时间将spark的算子如何使用的例子给记录了下来,下面是spark RDD 的一些常用算子的使用
这些算子包括有java的,也有scala的语言,由于精力有限,暂时没有python的,以后有空再加上吧
spark RDD算子(一) parallelize,makeRDD,textFile
spark RDD算子(二) filter,map ,flatMap
spark RDD算子(三) distinct,union,intersection,subtract,cartesian
spark RDD算子(四)之创建键值对RDD mapToPair flatMapToPair
spark RDD算子(五)之键值对聚合操作 combineByKey
spark RDD算子(六)之键值对聚合操作reduceByKey,foldByKey,排序操作sortByKey
spark RDD算子(七)之键值对分组操作 groupByKey,cogroup
spark RDD算子(八)之键值对关联操作 subtractByKey, join, rightOuterJoin, leftOuterJoin
spark RDD算子(九)之基本的Action操作 first, take, collect, count, countByValue, reduce, aggregate, fold,top
spark RDD算子(十)之PairRDD的Action操作countByKey, collectAsMap
spark RDD算子(十一)之RDD Action 保存操作saveAsTextFile,saveAsSequenceFile,saveAsObjectFile,saveAsHadoopFile 等
spark RDD算子(十二)之RDD 分区操作上mapPartitions, mapPartitionsWithIndex
spark RDD算子(十三)之RDD 分区 HashPartitioner,RangePartitioner,自定义分区
- spark常用RDD算子 汇总(java和scala版本)
- Spark常用算子详解汇总 : 实战案例、Java版本、Scala版本
- Spark RDD 常用算子
- spark RDD操作算子详解(汇总)
- Spark RDD编程(Python和Scala版本)
- spark RDD常用算子介绍
- spark RDD操作算子详解(应用场景汇总)
- Spark常用RDD操作汇总
- Spark算子汇总和理解(详细)
- Spark-Scala-RDD 入门问题汇总
- Spark RDD算子【二】coalesce 和 repartition
- spark RDD算子学习(基本命令)
- spark rdd 算子
- spark中的RDD算子
- Spark RDD算子介绍
- Spark RDD算子介绍
- Spark RDD算子介绍
- Spark RDD算子介绍
- 暴力搜索(HDU 5305,Friends)
- LeetCode 173 Binary Search Tree Iterator
- 递归算法例子
- 在ubuntu14.04上安装cuda deb文件
- SSD论文阅读
- spark常用RDD算子 汇总(java和scala版本)
- 接口测试的两种方法
- 搜索和信息的作用——条件熵
- UITableView手风琴效果开发总结
- MySQL修改root密码的4种方法
- 特长生模拟——楼层
- 基于Spring注解实现的工厂模式
- 正则表达式基础
- An association from the table refers to an unmapped class