spark-SQL的使用

1. 1 创建DataFrames

在Spark SQL中SQLContext是创建DataFrames和执行SQL的入口，在spark-1.5.2中已经内置了一个sqlContext

1.在本地创建一个文件，有三列，分别是id、name、age，用空格分隔，然后上传到hdfs上

hdfs dfs -put person.txt /

文件内容如下：

1,boduo,19

2,xiaoze,20

3,longze,21

2.启动spark-shell

[bigdata@bigdata01 ~]$ /usr/local/spark-1.6.1-bin-hadoop2.6/sbin/start-all.sh 

[bigdata@bigdata01 ~]$ /usr/local/spark-1.6.1-bin-hadoop2.6/bin/spark-shell --master spark://bigdata01:7077 --executor-memory 1g --total-executor-cores 2

在spark shell执行下面命令，读取数据，将每一行的数据使用列分隔符分割

val lineRDD =sc.textFile("hdfs://bigdata01:9000/person.txt").map(_.split(","))

3.定义case class（相当于表的schema）

case classPerson(id:Int, name:String, age:Int)

4.将RDD和case class关联

val personRDD =lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))

5.将RDD转换成DataFrame

val personDF =personRDD.toDF

6.对DataFrame进行处理

personDF.show

1.2 DataFrame常用操作

//查看DataFrame中的内容

personDF.show

 

//查看DataFrame部分列中的内容

personDF.select(personDF.col("name")).show

personDF.select(col("name"),col("age")).show

personDF.select("name").show

 

//打印DataFrame的Schema信息

personDF.printSchema

1.3 SQL风格语法

如果想使用SQL风格的语法，需要将DataFrame注册成表

personDF.registerTempTable("t_person")

 

//查询年龄最大的前两名

sqlContext.sql("select* from t_person order by age desc limit 2").show

//图片是教程的

//显示表的Schema信息

sqlContext.sql("desct_person").show

2.   以编程方式执行Spark SQL查询

前面我们学习了如何在Spark Shell中使用SQL完成查询，现在我们来实现在自定义的程序中编写Spark SQL查询程序。首先在maven项目的pom.xml中添加Spark SQL的依赖

 

<dependency>    <groupId>org.apache.spark</groupId>    <artifactId>spark-sql_2.10</artifactId>    <version>1.5.2</version>  </dependency>

2.1  通过反射推断Schema
package cn.itcast.spark.day4import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.{DataFrame, SQLContext}/**  * Created by root on 2016/5/19.  */object SQLDemo {  def main(args: Array[String]) {    val conf = new SparkConf().setAppName("SQLDemo")//.setMaster("local[2]")    val sc = new SparkContext(conf)    val sqlContext = new SQLContext(sc)    //设置用户访问权限    System.setProperty("user.name","bigdata")//    val personRdd = sc.textFile("hdfs://192.168.33.71:9000/person.txt").map(line =>{    val personRdd = sc.textFile(args(0)).map(line =>{      val fields = line.split(",")      Person(fields(0).toLong, fields(1), fields(2).toInt)    })    import sqlContext.implicits._    val personDf = personRdd.toDF    personDf.registerTempTable("person")    //    sqlContext.sql("select * from person where age >= 20 order by age desc limit 2").show()    val df: DataFrame = sqlContext.sql("select * from person where age >= 20 order by age desc limit 2")    df.write.json(args(1))    sc.stop()  }}case class Person(id: Long, name: String, age: Int)

将程序打成jar包，上传到spark集群，提交Spark任务

/usr/local/spark-1.6.1-bin-hadoop2.6/bin/spark-submit \

--class cn.itcast.spark.day4.SQLDemo \

--master spark://bigdata01:7077 \

/home/bigdata/hello-spark-1.0.jar \

hdfs://bigdata01:9000/person.txt \

hdfs://bigdata01:9000/out/

file:///home/bigdata/person.txt \

file:///home/bigdata/out

最终结果如下

[bigdata@bigdata01 hadoop-2.6.4]$ hdfs dfs -ls /out
Found 2 items
-rw-r--r--   3 bigdata supergroup          0 2017-05-28 17:24 /out/_SUCCESS
-rw-r--r--   3 bigdata supergroup         38 2017-05-28 17:24 /out/part-r-00000-3744ea1c-6db9-411f-a804-b51e616453f7
[bigdata@bigdata01 hadoop-2.6.4]$ hdfs dfs -cat /out/part-r-00000-3744ea1c-6db9-411f-a804-b51e616453f7
{"id":3,"name":"canglaoshi","age":20}