spark-sql读取hive
来源:互联网 发布:电脑wifi监控软件 编辑:程序博客网 时间:2024/04/27 14:42
Spark-1.3.1与Hive整合实现查询分析
操作步骤
1.我们可以通过指定SPARK_CLASSPATH变量,将需要访问Hive的元数据存储MySQL的驱动包加入进去,然后直接启动Spark SQL Shell即可。
SPARK_CLASSPATH="$SPARK_CLASSPATH:/app/apache-hive-1.2.1-bin/lib/mysql-connector-java-5.1.38-bin.jar"
2.通过Spark Shell进行操作,不过需要了解Spark SQL支持的Scala API,启动Spark Shell,执行如下命令:
spark-shell --master local[1]
3.然后,创建一个org.apache.spark.sql.hive.HiveContext对象,用来执行Hive查询:
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
sqlContext.sql("select imsi from test.test_weixin limit 2").collect().foreach(println)
0 0
- spark-sql读取hive
- spark-sql读取hive挂载alluxio
- spark 读取hive parquet
- Spark SQL来读取现有Hive中的数据
- Spark SQL读取hive数据时报找不到mysql驱动
- Spark SQL读取Hive数据配置及使用Thrift JDBC/ODBC Server访问Spark SQL
- Spark SQL with Hive
- Spark SQL+Hive历险记
- spark sql on hive
- spark-sql 结合 hive
- spark sql with hive
- Spark Hive SQL实例
- Spark SQL Hive Tables
- spark sql读取json
- spark sql on hive初探
- Spark SQL on Hive配置
- spark sql与hive整合
- Spark SQL访问Hive,MySQL
- with 视图名 as (query sql) 临时视图
- 登陆界面
- 标准体重计算器
- Linux-安装tomcat
- CardView的简单使用
- spark-sql读取hive
- ImageMagick--VS2015环境配置、开发(registrykeylookupFailed)
- css3 box-shadow
- 搭建海思开发环境遇到的小问题
- 拓歌,克服N大难关,K歌音响不容易
- error: stray ‘\200’ in program解决
- Android学习之sqlite基础
- 前端面试题汇总(二)
- UVA 11584 Partitioning by Palindromes .