Spark primer 之wordcount 剖析(添加 spark按照单词出现次数排名)
来源:互联网 发布:加湿器 品牌 知乎 编辑:程序博客网 时间:2024/06/05 14:50
package main.scala.com.spark.demo.com.com.spark.demoimport org.apache.spark.{SparkContext, SparkConf}object NewWordCount { def main(args: Array[String]) { val conf = new SparkConf().setAppName("wordCount").setMaster("local") val sc = new SparkContext(conf) val rdd = sc.textFile("hdfs://master:9000/data01/words.txt")//your file address rdd.cache()rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect().foreach(println)//按照 单词出现次数排序 rdd.flatMap(_.split("")).map((_,1)).reduceByKey(_+_).map(e=(e._2,e._1)).sortByKey(false).collect }}
(1)rdd.flatMap(_.split(” “))的返回值:
words.txt的文件内容为:
在spark shell中输入 rdd.flatMap(_.split(” “)).collect 看回显
(2)rdd.flatMap(.split(” “)).map((,1))的返回值
我们发现已经将数组中每个元素转换成元组 (hello,1)…
(3)然后reduceBykey后 看结果
(4)按照单词出现次数排序,首先交换 元组顺序,即 (hello,1) 变为 (1,hello)
然后 使用sortByKey(false),指定false按照降序排序
代码为
0 0
- Spark primer 之wordcount 剖析(添加 spark按照单词出现次数排名)
- spark+java1.8+lamda wordCount 实例,并且实现按单词出现的次数的倒序排序
- Spark Java 单词计数(WordCount)
- Spark实现WordCount单词计数
- Spark学习—统计文件单词出现次数
- spark入门之wordcount
- Spark之WordCount
- Spark初试之WordCount
- Spark之WordCount
- Spark入门之WordCount
- Spark学习之WordCount
- Spark之wordcount
- Spark之WordCount
- Spark之WordCount
- Spark之wordcount
- spark:学习杂记+wordcount(单词统计)--22
- spark(1)-入门spark之scala sbt wordcount实验
- spark(2)-入门spark之java maven wordcount实验
- 430时钟
- 第七周项目3--负数把正数赶出队列
- 负数把正数赶出队列
- (第四周项目6)循环双链表应用
- spark streaming的NetworkWordCount实例理解
- Spark primer 之wordcount 剖析(添加 spark按照单词出现次数排名)
- 第7周项目2 - 建立链队算法库
- 第8周 项目1 - 建立顺序串的算法库
- webpack前端模块加载工具
- 第三周项目1顺序表的基本运算
- 初游北京
- android 的Activity和Service之间的通信
- centos安装tomcat
- 【bzoj3594】 SCOI2014方伯伯的玉米田 dp+二维树状数组优化