spark使用Hive表操作
来源:互联网 发布:双色球参选数据 编辑:程序博客网 时间:2024/05/22 03:32
spark Hive表操作
之前很长一段时间是通过hiveServer操作Hive表的,一旦hiveServer宕掉就无法进行操作。
比如说一个修改表分区的操作
一.使用HiveServer的方式
val tblName = "hive_table"def dropPartitions(tblName: String): Unit = { val HIVE_SERVER = "jdbc:hive2://192.168.xx.xxx:10000" import java.sql.DriverManager Class.forName("org.apache.hive.jdbc.HiveDriver") val conn = DriverManager.getConnection(HIVE_SERVER, "xxx", "") val stmt = conn.createStatement() val addSQL = s"msck repair table $tblName" stmt.execute(addSQL) conn.close()}
二.使用HiveContext的方式
后来发现通过HiveContext可以实现同样的功能,却方便的多,也不用通过hiveServer,再也不怕hiveServer宕机啦~
先创建一个HiveContext,当然hiveContext也是可以对Hive表进行查询操作的
val sqlContext = new HiveContext(sc)
同样功能的函数
val tblName = "hive_table"def dropPartitions(tblName: String,sqlContext :HiveContext): Unit = { sqlContext.sql(s"msck repair table $tblName")}
0 1
- spark使用Hive表操作
- 【spark】spark-hive操作
- spark+hcatalog操作hive表及其数据
- Spark DataFrme操作Hive
- spark 使用hive metastore
- Hive编程指南-Spark操作Hive
- spark操作hive简单代码
- YARN、Spark、Hive使用kerberos
- Spark SQL1.2与Hive互通操作
- spark-sql操作hive和hdfs
- Spark操作hive遇到的问题
- 使用JAVA操作HIVE
- Spark Hive使用中遇到的坑
- Spark SQL在Hive中的使用
- spark使用hive出错,添加以下配置
- spark sql 使用hive作为数据源
- Spark SQL和Hive使用场景?
- spark sql on hive配置及其使用
- RTEMS4.11 FEDORA20 64BIT环境搭建
- kafka多线程消费
- Google APAC 2016 学习
- CentOS 7关闭图形桌面开启文本界面
- java学习笔记--随记
- spark使用Hive表操作
- mysql大数据相关优化记录
- jsp内置对象之-exception对象
- 《构建之法》第九章 项目经理
- Windows系统U盘写保护
- jsp内置对象之-pageContext对象
- unity3D游戏开发九之雾效、水效和音效
- 文章标题
- adb 命令模拟按键事件 模拟 点击 事件