SparkSQL之数据源
来源:互联网 发布:男人月薪4500 知乎 编辑:程序博客网 时间:2024/03/29 20:56
准备json文件:
cat /root/1.json{"name":"Michael"}{"name":"Andy", "age":30}{"name":"Justin", "age":19}
可以尝试传统方法:
val people = sqlContext.read.json("file:///root/1.json");people.printSchema();people.registerTempTable("people3");
这是DataFrame的定义方法。
下面可以定义成数据源:
CREATE TABLE personsUSING org.apache.spark.sql.jsonOPTIONS ( path 'file:///root/1.json');
这个时候可以 spark-sql:
spark-sql> select * from persons;NULL Michael30 Andy19 Justin
0 0
- SparkSQL之数据源
- SparkSQL编程指南之Java篇二-数据源(上)
- SparkSQL编程指南之Java篇三-数据源(下)
- SparkSQL读取数据源
- sparksql各种数据源
- sparksql json,hive数据源
- SparkSQL的数据源
- SparkSQL配置(HIVE作为数据源)
- SparkSql Data Sources(数据源)
- sparkSQL以JDBC为数据源
- sparksql读取hive数据源配置
- SparkSQL对hive数据源进行操作
- AMPCamp2015之SparkSQL
- SparkSQL之创建DataFrame
- SparkSQL之缓存表
- SparkSQL之读取数据
- SparkSQL之查询,过滤
- SparkSQL之JDBC
- igrimaceV8.0.0 IG (三个插件安装方式)
- 达内学习日志Day20:Java核心API(Map初体验)
- Linux网络编程---ICMP协议分析及ping程序实现
- 数组中未出现的最小正整数
- 二级指针
- SparkSQL之数据源
- AFN文档中文翻译以及简单使用说明
- C#学习之多线程开发技术(九)
- 第6周—项目5 后缀表达式
- Java高级_网络编程
- 纠正对Fragment Transaction BackStack的误解
- 又开了一个C语言最强最全班
- 第六周--项目四--数制转换
- C# 提示框MessageBox