Spark RDD中的aggregate函数 -JAVA8 lambda风格实现求平均数（不用mean函数）

先转载一篇文章，好好看，看明白了我们再看实现--

http://blog.csdn.net/qingyang0320/article/details/51603243

http://blog.csdn.net/a1628864705/article/details/52476161

下面我们用Java 8 lambda表达式实现：

package test;import java.util.ArrayList;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import scala.Tuple2;public class Test {    public static void main(String[] args) {        SparkConf conf = new SparkConf();        conf.setAppName("Word count");        conf.setMaster("local[2]");        @SuppressWarnings("resource")        JavaSparkContext sc = new JavaSparkContext(conf);        ArrayList<Integer> list = new ArrayList<Integer>();        list.add(1);         list.add(2);        list.add(3);        list.add(4);        //初始化Rdd        JavaRDD<Integer> rdd = sc.parallelize(list);        //第二和第三个参数为函数的匿名实现（lambda形式 ）        Tuple2<Double, Integer> t = rdd.aggregate(new Tuple2<Double, Integer>(0.0, 0),                 (x,y)->new Tuple2<Double, Integer>(x._1+y,x._2+1),                (x,y)->new Tuple2<Double, Integer>(x._1+y._1,x._2+y._2));        System.out.println(t._1/t._2);    }}

aggregate(T,(T,U)->T,(T,T)->T)

第一个参数为后面计算中的初始值，和返回值同类型；

第二个参数，在单个分区中，用初始值和该分区第一个元素进行求值，然后把结果迭代运行到该分区计算结束，返回该分区的计算值）

第三个参数，第二个函数中计算的个分区的结果，再进行求值（这里就是求和（sum相加，数量相加）),返回最终结果

得到结果

System.out.println(t._1/t._2);