Spark:Scala实现Top N

来源:互联网 发布:飞控算法 编辑:程序博客网 时间:2024/06/15 15:31

实现代码如下:

package cn.spark.study.coreimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject Top3 {  def main(args:Array[String]):Unit = {    val conf = new SparkConf().setAppName("Top3").setMaster("local")    val sc =new SparkContext(conf)    val lines = sc.textFile("E://BigData//sparkdata//top.txt", 1)val pairs = lines.map{line => (line.toInt,line)}val sortedPairs = pairs.sortByKey(false)val sortedNumbers = sortedPairs.map(sortedPair =>sortedPair._1)val top3Number = sortedNumbers.take(3)for(num <- top3Number){  println(num)    }  }}
原创粉丝点击