[spark]spark/hive配置metastore为postgresql
来源:互联网 发布:淘宝卖家防骗技巧大全 编辑:程序博客网 时间:2024/05/29 17:17
看文档可以知道,Spark SQL复用了hive的sql解析器/metastore管理。而hive的默认的metastore为derby,它有两个弊端:
1.metastore一次仅允许一个客户端连接
2.每个客户端进行sql操作时,都会在本进程所在的文件夹内新建metastore
所以,在产品的开发中,至少应该将metastore配为postgresql的
步骤如下:
1.在postgresql中新建一个用户nsc,并为它新建一个数据库metastore;并允许远程访问
2.新建/home/pijing/spark/conf/hive-site.xml文件,配置如下:
3.我用的spark版本为1.3.0,它所用的hive版本为0.12.0;所以下载一个hive的包,在它的: scripts\metastore\upgrade\postgres目录下,找到hive-schema-0.12.0.postgres.sql
运行命令:
psql –U nsc metastore<c:\hive\scripts\metastore\upgrade\postgres\hive-schema-0.12.0.postgres.sql
将表导入pg的metastore库中。
4.接着,再运行/home/pijing/spark/sbin/start-thriftserver.sh即可
经过以上步骤,metastore就被配置为了postgresql中的metastore数据库。
0 0
- [spark]spark/hive配置metastore为postgresql
- spark 使用hive metastore
- spark sql 无法访问 hive metastore问题解决
- Spark连接Hive的metastore异常
- PostgreSQL + Hive + Metastore
- Hive学习之配置MySQL为Metastore
- Spark On Yarn之指定hive-site.xml找不到metastore
- hive配置远程metastore
- 【hive】mysql metastore 配置
- Hive metastore MYSQL配置
- hive metastore ha 配置
- Hive on Spark配置总结
- Hive on Spark 配置、运行
- Spark SQL on Hive配置
- 配置HIVE的Metastore为MySQL操作实例
- Hive学习之配置Oracle为Metastore及问题
- 【spark】spark-hive操作
- Spark-Hive
- seq命令用法
- storm步步深入---Storm用到的相关技术
- 小数转分数
- test
- Permutations II
- [spark]spark/hive配置metastore为postgresql
- poj 1324 Holedox Moving A*算法对bfs的优化
- 安装 protobuf
- 黑马程序员——GUI
- 递推法
- manager start failed
- Easyui-textbox得到焦点方法
- 1017. Queueing at Bank (25) - priority_queuet
- 双向链表的基本操作