Spark pairRDD

• 创建pairRDD

  • mapToPair：

    JavaRDD<String> lines_file = sc.textFile("/home/liang/Downloads/spark-2.1.0-bin-hadoop2.7/README.md");    JavaPairRDD<String, String> res = lines_file.mapToPair(                    line->new Tuple2<String, String>(line.split(" ")[0], line));

  • flatToPair：

• 转化pairRDD

  • reduceByKey()：将具有相同key值得value进行运算，最后返回的pairRDD中key值都是不重复的。先算各个分区的reduceByKey(),最后再将各个分区的结果组合起来

  JavaPairRDD<String, Integer> string_integer = PairRDDCreate.run1();        for(Tuple2<String, Integer> tuple2 : string_integer.collect()){            System.out.println(tuple2._1 + " --> " + tuple2._2);        }        System.out.println("after reduceByKey");        JavaPairRDD<String, Integer> string_integer_reduceByKey = string_integer.reduceByKey(                (a,b)->a*b        );        for(Tuple2<String, Integer> tuple2 : string_integer_reduceByKey.collect()){            System.out.println(tuple2._1 + " --> " + tuple2._2);        }

  • combineByKey()：相比于reduceByKey和flodByKey,它可以返回和原有的pairRDD value类型不一样的pairRDD, 他接受三个参数，三个参数都是函数，第一个参数是将原来pairRDD中第一次出现的key至所对应的value转化为target type的函数，第二个参数是如果这是一个在处理当前分区之前已经遇到的键，它会使用mergeValue() 方法将该键的累加器对应的当前值与这个新的值进行合并。第三个参数是将各个分区的结果合并。

   JavaPairRDD<String, Integer> string_integer = PairRDDCreate.run1();        JavaPairRDD<String, AvgCount> string_integer_aver = string_integer.combineByKey(                (x)->new AvgCount(x,1), //createCombiner                (a,x)->new AvgCount(a.total + x, a.num + 1), // mergeValue                (a,b)-> new AvgCount(a.total + b.total , a.num + b.num) // mergeCombiner        );

• pairRDD 示例：
  pageRank：
  http://blog.csdn.net/liangdong2014/article/details/70911960