Spark API编程动手实战-06-对搜狗日志文件深入实战操作
来源:互联网 发布:手机淘宝怎么找试衣间 编辑:程序博客网 时间:2024/05/16 13:46
本节中所用到的内容是来自搜狗实验室,网址为:http://www.sogou.com/labs/dl/q.html
我们使用的是迷你版本的tar.gz格式的文件,其大小为87K,下载后如下所示:
上传到服务器后,解压并查看:
查看Sogou文件内容:
该文件的格式如下所示:
访问时间 \t 用户ID \t 查询词 \t 该URL在返回结果中的排名 \ t用户点击的顺序号 \t 用户点击的URL
把解压后的文件上传到hdfs的data目录下:
查看web控制台:
大功告成,文件上传hdfs成功
接下来 我们使用Spark获得搜索结果排名第一同时点击结果排名也是第一的数据量,也就是第四列值为1同时第五列的值也为1的总共的记录的个数。
先读取SogouQ.mini文件:
count操作后:
count之后有2000条记录
首先过滤出有效的数据:
可以发现该文件中的数据都是有效数据。
下面使用spark获得搜索结果排名第一同时点击结果排名也是第一的数据量:
可以发现搜索结果排名第一同时点击结果排名也是第一的数据量为794条;
使用toDebugString查看一下其lineage:
HadoopRDD->MappedRDD->MappedRDD->FilteredRDD->FilteredRDD->FilteredRDD
下面看用户ID查询次数排行榜:
对sortedSogouQRdd进行collect操作:(不要乱collect 会出现OOM的)
结果:
把结果保存在hdfs上:
hdfs命令行查询:
part-0000:
part-00001:
web控制台查询:
我们通过hadoop命令把上述两个文件的内容合并起来:
查看一下合并后的本地文件:
使用head命令查看其具体内容:
- Spark API编程动手实战-06-对搜狗日志文件深入实战操作
- Spark API编程动手实战-06-对搜狗日志文件深入实战操作
- Spark API编程动手实战-07-join操作深入实战
- Spark API编程动手实战-05-spark文件操作和debug
- Spark API编程动手实战-04-以在Spark 1.2版本实现对union、groupByKey、join、reduce、lookup等操作实践
- Spark入门--实战操作搜狗日志文件
- Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count
- Spark API编程动手实战-03-以在Spark 1.2版本实现对Job输出结果进行排序
- Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01
- Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-02
- spark SQL编程动手实战-01
- Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和collect
- 孙其功陪你学之——spark----搜狗日志文件深入实战
- spark实战:对日志进行查询
- Spark代码4之Spark 文件API及其对搜狗数据的操作
- Spark编程实战
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节:动手实战Scala面向对象编程(1)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第2小节:动手实战Scala面向对象编程(2)
- javascript打印dom树
- Bag-of-Features Descriptor on SIFT ORB SURF (BoF-SIFT)
- 对之前.net项目的零碎知识点总结(自我学习用)
- IOS Object-c NSDate总结日期操作
- WebView
- Spark API编程动手实战-06-对搜狗日志文件深入实战操作
- UIKit Framework Reference
- Objective-C对象初始化
- The Foundation Framework
- Objective-C对象的申请空间与初始化
- ps快捷键大全
- 在pdf合并的工具中哪款好
- Anagrams
- Python读书笔记-第二章