spark sql

来源:互联网 发布:99宿舍客服软件下载 编辑:程序博客网 时间:2024/05/22 00:57

从实际开发的角度来看,有两大类:

1》写sql语句

通过spark-sql命令,进入一个命令窗口,直接写sql语句

1  normal sql

2  hive sql

2》API编程

在eclipse中构建DataFrame对象,对此类对象进行sql的调用

1  一种是直接将dataFrame对象,注册成一张临时表,然后写sql,对表进行查询

val ret = sql("select * form t_table")

2  一种是领域API

简介:spark SQL原来叫做shark,底层依赖于hive,耦合度太高,慢慢的就远离hive

Spark SQL有两大分支:SQLContext和HiveContext



























































































0 0
原创粉丝点击