spark1.1.0下使用SparkSQL
来源:互联网 发布:微软windows官网进不去 编辑:程序博客网 时间:2024/06/14 23:51
spark1.1.0的安装参见http://blog.csdn.net/bluejoe2000/article/details/41391407
安装了spark之后,可以在 shell中执行Spark SQL。Spark SQL是支持在Spark中使用Sql、HiveSql、Scaca中的关系型查询表达式。它的核心组件是一个新增的RDD类型SchemaRDD,它把行对象用一个Schema来描述行里面的所有列的数据类型,它就像是关系型数据库里面的一张表。它可以从原有的RDD创建,也可以是Parquet文件,最重要的是它可以支持用HiveQL从hive里面读取数据。
首先查看下数据文件:
cat ./examples/src/main/resources/people.txtMichael, 29Andy, 30Justin, 19
Spark SQL测试:
val sqlContext = new org.apache.spark.sql.SQLContext(sc)import sqlContext._case class Person(name: String, age: Int)val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt))people.registerAsTable("people")val teenagers = sql("SELECT name FROM people WHERE age >= 13 AND age <= 19")teenagers.map(t => "Name: " + t(0)).collect().foreach(println)
shell将输出:
14/11/23 16:28:07 INFO SparkContext: Job finished: collect at <console>:20, took 0.377845624 s
Name: Justin
HiveQL测试:
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)import hiveContext._hql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")hql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")hql("SELECT count(*) FROM src").collect().foreach(println)hql("SELECT key, value FROM src WHERE key>200 and key<300 order by key asc").collect().foreach(println)
1 0
- spark1.1.0下使用SparkSQL
- SparkSQL下UDF的使用
- spark1.1的部署、sparksql CLI、sparksql-jdbc运用
- spark1.1的部署、sparksql CLI、sparksql-jdbc运用
- SparkSql 使用
- sparkSQL使用
- Spark1.1.1官网文档翻译5SparkSQL
- Spark1.4.0-SparkSQL与Hive整合-支持窗口分析函数
- Spark1.4.0-SparkSQL与Hive整合-支持窗口分析函数
- Spark1.4.0-SparkSQL与Hive整合-支持窗口分析函数
- spark1.3.1使用基础教程
- spark1.3.1使用基础教程
- spark1.6使用介绍
- SparkSql 函数的使用
- sparksql的基本使用
- sparksql 简单使用
- spark1.4下的R
- Spark1.1.0 Transformations
- 第13周 项目1-数组大折腾(3)
- 通过Microsoft Azure服务设计网络架构的经验分享
- 文件操作
- HTTP的Accept-Encoding
- [c#]可访问性不一致
- spark1.1.0下使用SparkSQL
- cvHaarDetectObjects
- JAVA8 闭包
- C++新建xls表并写入数据
- java 集合框架
- 进制转换
- Java -- FileInputStream与FileOutputStream的简单使用
- linux内核原码实现(1)雏形
- 学习感悟