Spark RDD常用的函数

来源：互联网发布：阿里云备案要多长时间编辑：程序博客网时间：2024/06/04 18:18

创建RDD-创建
- JavaSparkContext.textFile(filename)：从文件中创建RDD
- JavaSparkContext.parallelize(List)：从内存中的数据创建RDD

转化RDD-转化操作

map()：对RDD中的每个元素进行操作，返回值的类型不必和原RDD的元素值类型相等。

JavaRDD<Pair<Integer, Integer>> numbers = integers.map(new Function<Integer,                            Pair<Integer, Integer>>() {        public Pair<Integer, Integer> call(Integer integer) throws Exception {            return new Pair<Integer, Integer>(integer, 1);        }    });

filter()：对原RDD中的每个元素进行筛选，选出符合条件的元素，组成新的RDD

JavaRDD<String> pythonRDD = lines.filter(new Function<String, Boolean>() {        public Boolean call(String s) throws Exception {            if(s.contains("Python"))                    return true;            return false;        }    });

flatmap()：当我们想由原RDD中的一个元素返回多个元素的时候，我们就使用这个转化函数
```
JavaRDD<String> words = lines.flatMap(line -> Arrays.asList(line.split(" ")).iterator());
```
union()、intersection()、subtract()、cartesian()：分别是对两个RDD计算并集，交集，减法以及笛卡儿积

mapToPair()：当我们想从原RDD中的每个元素返回一个K，V类型的元素的时候使用该函数：

JavaPairRDD<String, Integer> result = words.mapToPair(word->            new Tuple2<String, Integer>(word,1)).reduceByKey((a, b) -> a+b);

行动操作
- reduce()：假设一个RDD的元素类型是X，则reduce的作用就是将第一个X和第二个X进行reduce操作然后再放入RDD中，一直到RDD中还剩最后一个X，则将X返回
```
Integer sum = integers.reduce(new Function2<Integer, Integer, Integer>() {        public Integer call(Integer integer, Integer integer2) throws Exception {            return integer + integer2;        }    });
```
- reduceByKey()：这里要求调用RDD是JavaPairRDD而不是JavaRDD，相当于自动将每个Key值相同的元素整合在一起，让我们通过该函数来确认Value的值
```
JavaPairRDD<String, Integer> result = words.mapToPair(word->            new Tuple2<String, Integer>(word,1)).reduceByKey((a, b) -> a+b);
```
- fold()：和reduce相似，只不过他可以指定一个初始值，针对每个分区（注意一个RDD会有多个分区存在）首先使用初始值和第一个Reduce进行操作，然后就和reduce一致，具体见下图：（http://blog.jasonding.top/2015/07/12/Spark/%E3%80%90Spark%E3%80%91RDD%E6%93%8D%E4%BD%9C%E8%AF%A6%E8%A7%A34%E2%80%94%E2%80%94Action%E7%AE%97%E5%AD%90/）
  
  fold函数
  
  reduce函数
- aggregate()：因为reduce函数只能返回RDD元素值的类型，比如说RDD的元素类型是Integer，那么reduce只能返回Integer类型的元素，当我们想返回和RDD元素值类型不同的时候，就使用aggregate函数，假设我们想让aggregate返回类型A,那么如下所示：第一个参数a是每个分区的初始化值，第二个参数是对每个分区进行处理的函数，每个分区最后处理的结果就是A类型的数据，第三个参数是对每个分区返回的结果再进行处理，也就是合并。具体流程如下图说是：
```
A a = new A();//进行初始化A result = integers.aggregate(a, new Function2<A,Integer,A>{        public A call(A a, Integer integer){            //自己实现        }}, new Function2<A, A, A>{        public A call(A a, A a1){            //自己实现        }});
```

0 0