Spark优化操作_自定义groupby

groupby或者groupbyKey算子效率太低，自己重写了一下。

//用combineByKey替代groupByval home_data_combine: RDD[(String, List[home_info])] = phone_date_key_data.  map(home => (home.phone_date, home)).  partitionBy(new org.apache.spark.HashPartitioner(1000)).  combineByKey((x: home_info) => List(x),    (curlist: List[home_info], x: home_info) => x :: curlist,    (curlist1: List[home_info], curlist2: List[home_info]) => curlist1 ::: curlist2)

大家都应该了解，reduceByKey的效率会比groupbyKey高很多，但你就是要实现一个聚合的过程，并不需要reduce，就需要用groupby或者groupbyKey，但他们的效率太低了。需要自己实现一个。此处combineByKey来实现聚合的过程。

实现说明：

1.先做partitionBy

2.调用combineByKey，在每个partition内用list实现聚合

要充分理解的combineByKey实现过程，如上过程就会比较了解了。