3 分钟快速体验 Apache Spark SQL
来源:互联网 发布:python语音识别技术 编辑:程序博客网 时间:2024/05/03 15:28
“War of the Hadoop SQL engines. And the winner is …?” 这是个很好的问题。不过,无论答案如何,我们都值得花一点时间了解一下 Spark SQL 这个 Spark 家族里面的成员。 本来Apache Spark SQL 官网上的代码片断(Spark官网上的例子有个通病:不提供完整代码)已经写得算比较清楚,但如果用户完全把它的代码拷贝下来,可能会碰到编译不通过的问题。另外,Spark官网上的例子还有另外一个通病:不提供test data。因此,为了大家能不走弯路、快速体验Spark SQL API,本文将展示一个改写自官网例子的小程序,以及运行结果。
[A 程序]
[B 测试数据]
product.data:
[C 执行]
用 spark-submit 将程序提交到Yarn上执行。
[D 执行结果]
- Console:
- Yarn Web Console:
- Yarn App Log:
[E 小结]
- 注意需要把内部类 Product 定义在main方法外面,否则会引起编译错误
- 直接利用Spark SQL API定义一个“表对象”(SchemaRDD)还是比较简单的
- 下一步可以试一试和 HiveQL的集成
1 0
- 3 分钟快速体验 Apache Spark SQL
- spark sql 快速体验调试
- Spark Python 快速体验
- spark-sql初体验
- CDH5 Apache Spark初体验
- 3 分钟学会调用 Apache Spark MLlib KMeans
- Apache Spark - Quick Start (Spark 快速入门)
- 30分钟--Spark快速入门指南
- Apache Geode 快速入门(15分钟
- org.apache.spark.sql.api.java.JavaSQLContext
- Apache Spark数据分析教程(二):Spark SQL
- Apache Spark数据分析教程(二):Spark SQL
- Apache Spark进行大数据处理 -- 第二部分:Spark SQL
- Apache Spark数据分析教程(二):Spark SQL
- Shark, Spark SQL, Hive on Spark, 以及SQL on Apache Spark的未来
- 10分钟Hibernate体验
- 10分钟Hibernate体验
- 20分钟体验 Ruby
- hdu 1757 A Simple Math Problem(矩阵快速幂)
- 推荐几款比较好的手机流量监控软件
- Spring笔记---简介
- C# 用Attribute实现AOP事务 [C# | AOP | Attribute | ContextAttribute | IContributeObjectSink | IMessageSink
- IBM appcsan扫描安全漏洞--会话标识未更新
- 3 分钟快速体验 Apache Spark SQL
- opencv学习笔记(一)
- Java容器学习之Set
- 【算法导论】03——分治法
- C# 用delegate实现AOP事务[C# | AOP | delegate]
- JavaSE的有关网络编程的服务器与客户端的通信代码
- JPA中的一对多双向关联、级联操作、关系维护、延迟加载
- Bundle savedInstanceState的作用
- shell中的map使用