Spark Partition 分区记录

partitionBy 函数 自定义 Partitioner

partitioner 是在map阶段用来分区的，跟mapreduce的分区对应。可以用partitoner 来把数据分成多个区，每个区中包含特定key的数据。如果没有指定partitioner 默认使用 HashPartitioner。
注意：对spark RDD, partitioner 只有在key-value类型的RDD中可以设置partitioner信息。

数据格式：3   http://tinyurl.com/3jcvsm

---

自定义一个partitoner。这个partitoner的分区方式为，以传入的一个String 类型array来分区，本例是用来把相同的域名放在同一个分区（接上一个URL的例子）

//继承Partitioner 传入一个String类型的array（用于确定分区信息）class HOSTpartitioner(ins: Array[String]) extends Partitioner{    //初始化一个hashMap对象    val parMap = new mutable.HashMap[String,Int]()    var count = 0    //遍历array 把它的每个位置上的值作为key,每个位置的下标作为vale存入hashMap中    for ( i <- ins ){      parMap += (i->count)      count += 1    }     //必须实现的方法，指定分为几个区。    override def numPartitions : Int = count    //获取分区号，传入的是key-value类型中的可以。    override def getPartition(key: Any) :Int = {      val urls = new URL(key.toString)      val host = urls.getHost      return parMap.getOrElse(host.toString,0)    }  }

partition使用：（接上一个URL的例子）

    //获取所有有URL的域名，去重    val rdd6 = rdd1.map(xc =>{      val url = xc._1;      val urls = new URL(url)      val host = urls.getHost      host    }).distinct().collect()//    rdd6.foreach(println)    //设置partition    rdd1.partitionBy(new HOSTpartitioner(rdd6))