Spark常用算子详解汇总 : 实战案例、Java版本、Scala版本

来源:互联网 发布:知乎有趣的话题 编辑:程序博客网 时间:2024/05/27 12:21

官网API地址:

JavaRDD:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.api.java.JavaRDD
JavaPairRDD:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.api.java.JavaPairRDD

RDD:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD
PairRDDFunctions:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.PairRDDFunctions


Spark算子[01]:foreach,foreachPartition

Spark算子[02]:coalesce,repartition

Spark算子[03]:mapPartitions,mapPartitionsWithIndex 源码实战案例分析

Spark算子[04]:map,flatMap,mapToPair,flatMapToPair

Spark算子[05]:parallelize,makeRDD,textFile

Spark算子[06]:union,distinct,cartesian,intersection,subtract

Spark算子[07]:reduce,reduceByKey,count,countByKey

Spark算子[08]:combineByKey详解

Spark算子[09]:aggregateByKey、aggregate详解

Spark算子[10]:foldByKey、fold 源码实例详解

Spark算子[11]:reduce、aggregate、fold 详解

Spark算子[02]:coalesce,repartition

Spark算子[12]:groupByKey、cogroup、join、lookup 源码实例详解

Spark算子[13]:sortByKey、sortBy、二次排序 源码实例详解

Spark算子[14]:top、takeOrdered 源码实例详解

Spark算子[15]:sample、takeSample 源码实例详解

Spark算子[16]:subtractByKey、join、rightOuterJoin、leftOuterJoin 实例详解

Spark算子[17]:zip、zipPartitions、zipWithIndex、zipWithUniqueId 实例详解

Spark算子[18]:saveAsTextFile、saveAsObjectFile 源码实例详解

Spark算子[19]:saveAsHadoopFile、saveAsNewAPIHadoopFile 源码实例详解

Spark算子[20]:saveAsHadoopDataset、saveAsNewAPIHadoopDataset 实例详解

原创粉丝点击