SparkSQL之数据源

来源:互联网 发布:男人月薪4500 知乎 编辑:程序博客网 时间:2024/03/29 20:56

准备json文件:

cat /root/1.json{"name":"Michael"}{"name":"Andy", "age":30}{"name":"Justin", "age":19}

可以尝试传统方法:

val people = sqlContext.read.json("file:///root/1.json");people.printSchema();people.registerTempTable("people3");

这是DataFrame的定义方法。
下面可以定义成数据源:

CREATE TABLE personsUSING org.apache.spark.sql.jsonOPTIONS (  path 'file:///root/1.json');

这个时候可以 spark-sql:

spark-sql> select * from persons;NULL    Michael30  Andy19  Justin
0 0
原创粉丝点击