sparkSQL 集成hive异常问题解决
来源:互联网 发布:mysql最近执行语句 编辑:程序博客网 时间:2024/06/05 18:49
1、报:Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
是由于元数据默认到derby中找,所以提供mysql的
解决:在spark-env.sh文件中添加:export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/master/platform/hive-0.12.0-cdh5.1.0/lib/mysql-connector-java-5.1.31-bin.jar
2、报:15/06/15 16:33:48 ERROR [ZooKeeperHiveLockManager(545) -- main]: conflicting lock present for default mode EXCLUSIVE
a. 由于hive的版本比较低,解决方法升级hive或者在spark-env.sh文件添加,指定udf路径,
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/master/platform/hive-0.12.0-cdh5.1.0/lib/mysql-connector-java-5.1.31-bin.jar:/home/master/platform/auxlib/HiveUDF.jar
export HIVE_CONF_DIR=/home/master/conf/hadoop/spark
b. 在原来hive的conf目录下copy一份.hiverc文件并修改.hiverc为以下内容,然后copy到spark指定的hive目录(/home/master/conf/hadoop/spark)
set hive.support.concurrency=false;CREATE TEMPORARY FUNCTION get_url_map as 'com.test.htools.udf.ParseLOG';set hive.support.concurrency=true;
- sparkSQL 集成hive异常问题解决
- hive和hbase集成异常
- sparksql与hive整合
- sparksql与hive整合
- sparksql on hive实践
- Hive和SparkSQL区别
- intergrate sparkSQL with hive
- sparksql json,hive数据源
- SparkSQL之Hive操作
- sparksql 操作hive
- SparkSQL与Hive的整合
- SparkSQL读取Hive中的数据
- SparkSQL配置(HIVE作为数据源)
- SparkSQL+Hive(持续更新)
- SparkSQL与Hive的整合
- sparksql读取hive数据源配置
- SparkSQL操作Hive表数据
- window+sparksql+hive+debug sparksql本地环境搭建
- 关于虚函数、纯虚函数、抽象类的疑惑小记
- Android程序:安卓程序中如何操作数据
- iOS5.0新功能之——NSJSONSerialization解析JSON数据
- nginx + keepalived 实现HA 主从模式
- equal和==,List中传递值(不传引用地址)方法
- sparkSQL 集成hive异常问题解决
- KEIL工具之半主机模式
- 【Java安全技术探索之路系列:Java可扩展安全架构】之五:JCE(一):JCE架构介绍
- scu oj 4445 Right turn 2015年四川省赛J题(模拟题)
- 【iOS开发】企业版证书($299)In-House方式发布指南
- 【Java安全技术探索之路系列:Java可扩展安全架构】之六:JCE(二):JCE类和接口
- Activity的四种启动模式和onNewIntent()
- 图形处理(十二)拉普拉斯网格优化、最小二乘网格模型光顺
- 自动化测试的优缺点