spark中将topN条写到本地文件中
来源:互联网 发布:淘宝卖家改评价链接 编辑:程序博客网 时间:2024/06/05 19:52
//求出url的topN// 先排好序,排好序后在取val sorted = urlCount.sortBy(x=>x,false)//我就想将前三条写入文件中/* var sum=0val top3 = sorted.map(x => { if (sum > 3) // *******Return statements aren't allowed in Spark closures 在Spark中return不能跳出map******** // ******** 在这里for循环也不能用,for循环处理的是迭代器,map中是一条一条输入的******** // return sum += 1 x})*/// 可以先执行一次收集,在将收集到的通过parallelize 转换成RDD val take: Array[(String, Int)] = sorted.take(3)val top3: RDD[(String, Int)] = sc.parallelize(take)// 使用RDD 将其写入文件中top3.saveAsTextFile("F:\\requestTop5.dat")sc.stop()
阅读全文
1 0
- spark中将topN条写到本地文件中
- Spark--TopN
- spark中实现分组取topN
- Spark WordCount TopN
- Spark之TopN
- Spark--分组TopN
- Spark Scala TopN分组排序
- 算法(2) TopN Mapreduce/Spark
- Spark实例TopN---Spark学习笔记11
- 使用RDD解决spark TopN问题:分组、排序、取TopN
- Spark核心编程-分组取topN
- Spark核心编程:高级编程之topn
- Spark Scala 分组排序取TopN
- Spark Java 分组排序取TopN
- spark<实现SQL中的GroupBY后取组内TopN>
- spark 本地文件上传hdfs
- spark读取本地文件
- Spark读取本地文件操作
- 我学习go的五个感悟(译)
- 关于 varchar max的误区
- 机器学习笔记-Support Vector Regression(SVR)
- (一)单例模式详解
- Flume拦截器(Interceptor)
- spark中将topN条写到本地文件中
- 车与羊的选择
- Leetcode33题的理解---动笔就变得简单
- 阐述ArrayList、Vector、LinkedList的存储性能和特性。
- kali2017添加国内更新源 + 配置并开启sshd 144 作者 极客圈 关注 2017.06.14 16:29* 字数 119 阅读 4293评论 0喜欢 3 添加国内更新源 1.切换到roo
- 【Python】Python List list()方法
- SOC官方网址
- 阿里云——手把手教你搭建个人网站
- 【MySQL之InnoDB】幻读(phantom problem)