Spark:Scala实现Top N
来源:互联网 发布:飞控算法 编辑:程序博客网 时间:2024/06/15 15:31
实现代码如下:
package cn.spark.study.coreimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextobject Top3 { def main(args:Array[String]):Unit = { val conf = new SparkConf().setAppName("Top3").setMaster("local") val sc =new SparkContext(conf) val lines = sc.textFile("E://BigData//sparkdata//top.txt", 1)val pairs = lines.map{line => (line.toInt,line)}val sortedPairs = pairs.sortByKey(false)val sortedNumbers = sortedPairs.map(sortedPair =>sortedPair._1)val top3Number = sortedNumbers.take(3)for(num <- top3Number){ println(num) } }}
阅读全文
0 0
- Spark:Scala实现Top N
- Spark中实现TOP N (Scala版本)
- Spark中实现分组取TOP N (Scala版本)
- Spark:Java实现Top N
- Spark中实现TOP N (Java版本)
- Spark:Java实现分组取Top N
- Top N --Scala版本
- Spark Top N
- spark: scala实现worldcount
- 实现Oracle Top N
- Mysql实现TOP n
- 第20课 :SPARK Top N彻底解秘 TOPN 排序(Scala)SPARK分组TOPN 算法(JAVA) 必须掌握!
- spark(11)-Top N(course20)
- Spark:Scala实现KMeans算法
- spark AUC 计算实现(Scala)
- Spark:Scala实现action操作
- Spark:Scala实现二次排序
- mysql实现TOP N功能
- java 构造方法,static关键字,main方法修饰解释
- Java并发学习(十七)-并发工具CountDownLatch
- java构造方法练习
- bluemail-iOS使用SMTP发送邮件 send mail via SMTP at iOS
- typedef的用法
- Spark:Scala实现Top N
- 互联网大会上的网约车的未来
- html_entity_decode
- python里使用enum库枚举类型时枚举值相同
- 【python运维】系统进程管理方法
- 深度学习课程资源整理
- Java获取本机外网ip地址的方法
- Oracle dbms_output 报ORA-00900错误SP2-0734错误
- SQL