AMPCamp2015之SparkSQL
来源:互联网 发布:python 静态属性 编辑:程序博客网 时间:2024/04/29 07:17
1 数据准备
1.1 实验数据基于AMPCamp2015的exercise,原始数据在U盘的/data目录中,首先将数据上传到hdfs
2 开始实验
2.1 启动spark-shell
监控界面如下:
2.2 代码
2.2.1 创建SQLContext
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
2.2.2 装载数据
首先,装载数据,装载的数据格式为parquet,Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless of the choice of data processing framework, data model or programming language.(Parquet是一种面向列存存储的文件格式,Cloudera的大数据在线分析(OLAP)项目Impala中使用该格式作为列存储。Apache Parquet 是一个列存储格式,主要用于 Hadoop 生态系统。对数据处理框架、数据模型和编程语言无关。)
上一步中上传到hdfs的数据/data/wiki_parquet中保存的是来自于wikipedia的包含“berkeley”的网页
val wikiData = sqlContext.parquetFile("/data/wiki_parquet")
2.2.3 首先,看一共有多少数据
wikiData.count()
结果为:
2.2.4 将数据注册为表
wikiData.registerTempTable("wikiData")
并进行查询:
val countResult = sqlContext.sql("SELECT COUNT(*) FROM wikiData").collect()
得到的结果为:
并进行查询:
val countResult = sqlContext.sql("SELECT COUNT(*) FROM wikiData").collect()
得到的结果为:
val sqlCount = countResult.head.getLong(0)
3 查询
3.1 查询创建网页最多的前10位用户
sqlContext.sql("SELECT username, COUNT(*) AS cnt FROM wikiData WHERE username <> '' GROUP BY username ORDER BY cnt DESC LIMIT 10").collect().foreach(println)
4 IDEA提交
结果:
0 0
- AMPCamp2015之SparkSQL
- AMPCamp2015之SparkStreaming wordCount
- SparkSQL之数据源
- SparkSQL之创建DataFrame
- SparkSQL之缓存表
- SparkSQL之读取数据
- SparkSQL之查询,过滤
- SparkSQL之JDBC
- SparkSQL之保存数据
- SparkSQL之连接thirftserver
- SparkSQL之Hive操作
- SparkSQL之JSON
- SparkSQL之JDBC
- spark 之 SparkSQL
- SparkSql之DataFrame操作
- sparkSQL
- SparkSQL
- SparkSQL
- POJ3233 Matrix Power Series 矩阵快速幂+二分求和
- 段错误与总线错误
- jquery验证表单插件
- HCE AID选择策略测试
- oracle中prior的用法,connect by prior,树形目录
- AMPCamp2015之SparkSQL
- 数据库分区分片框架
- IOS-PPRevealViewController侧边栏
- 收藏一些有用的的网站
- sublime-text 简单的安装方式
- Tiny框架之内容组成
- APUE的小问题
- Java 项目转为Eclispe Plugin Maven项目并调试/运行在Maven内嵌的Tomcat
- 与Greenplum度过的三个星期