基于spark1.3.1的spark-sql实战-02
来源:互联网 发布:家居网络摄像头 编辑:程序博客网 时间:2024/06/06 05:01
Hive Tables
将HIVE_HOME/conf/hive-site.xml
文件copy到SPARK_HOME/conf/下
When not configured by the hive-site.xml, the context automatically creates metastore_db
and warehouse
in the current directory.
// sc is an existing SparkContext.val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")sqlContext.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")// Queries are expressed in HiveQLsqlContext.sql("FROM src SELECT key, value").collect().foreach(println)
JDBC To Other Databases
加载mysql数据库:test,表:t_user_new返回DataFrame
查询数据:
Performance Tuning
spark 程序操作JDBC:
未完待续~~~
0 0
- 基于spark1.3.1的spark-sql实战-02
- 基于spark1.3.1的spark-sql实战-02
- 基于spark1.3.1的spark-sql实战-01
- 基于spark1.3.1的spark-sql实战-01
- 基于spark1.4的Spark-Sql
- 基于spark1.4的Spark-Sql
- Spark SQL基于网站Log的综合案例实战
- 基于Spark1.6使用Spark SQL和sqlite数据库进行诗歌查询及自动集句
- Spark1.1.0 Spark SQL Programming Guide
- spark SQL CLI运行(spark1.4)
- spark1.x-spark-sql-数据倾斜解决方案
- spark1.x-spark-sql性能优化
- spark1.6.1学习笔记02-spark集群的作业调度
- 基于Spark Mllib, 使用java api操作的电影推荐系统(spark1.5.2 jdk1.7)
- 基于Spark ML 聚类分析实战的KMeans
- Spark1.3.1 Standalone 基于文件系统的 HA 部署
- Spark SQL 集成ElasticSearch的案例实战
- spark--01编译安装spark1.3.1
- 动态代理模式案例
- 学习SpringMVC系列教程(一)Spring MVC入门
- liunx运行环境信息
- 程序员编程生涯中会犯的7个错误
- python模块相关
- 基于spark1.3.1的spark-sql实战-02
- android studio解决Execution failed for task ':app:compileDebugAidl': aidl is missing
- 深入理解python之self
- Deep Learning(深度学习)学习系列之(三)
- 程序员应该具备的十个代码习惯
- 驴妈妈获锦江集团5亿元战略投资
- powerdesigner和MySQL生成ER图
- Android:TextView不获取焦点可以实现跑马灯的效果
- 微软Windows 10原生支持Dolby Audio