Spark SQL 编程示例

来源:互联网 发布:数据库中通配符! 编辑:程序博客网 时间:2024/06/08 16:38

1.创建user.txt文本文件到hdfs (我的路径设置为hdfs://SparkMaster:9001/input/user.txt),查看user.txt

2.创建SparkContext上下文


3.引入相关包


4.定义一个case class描述和存储SQL表中的每一行数据  


5.加载数据


6.注册user的table


7.执行age大于13且小于19的sql查询


8.通过collect操作触发job的提交和执行


9.结果如下



0 0
原创粉丝点击