spark 使用hive metastore
来源:互联网 发布:papi酱变声软件 编辑:程序博客网 时间:2024/05/16 10:13
有3,4个月没接触hadoop和spark了,有些生疏,实习时用的是nodejs+python,今天休假,在新电脑跑跑大数据(真不敢相信我以前使用赛扬双核内存4G + 核显跑几个虚拟机来运行hadoop和spark的,跑个任务或者编译android源码有时等得蛋疼...)
虽然这些步骤常用好记,不过时间一长-没有-就又得查看doc,所以好记性不如烂笔头
1.开启hdfs
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start history
2.开启hive
配置metaservice已经记录过,不再写
hive --service metaservice
3.查看端口
确保9000和9083端口已经开启,9000为dfs,9083为hive metastore端口
4.连接hive
./hive
5.spark连接hive作为metastore,这样就不用derby了
拷贝三个文件到spark的conf中
其中hive-site是这个步骤必要的,剩余两个是我们在spark中使用hive时也会经常用到的,如spark-sql
(查找doc得来的)
启动spark-shell
如果此时爆出metastore无法实例化的错误,就看看spark和hive的版本
我此前使用Hive 2.1.0 + spark1.xx就报错了,更新为2.0.1就没事了
0 0
- spark 使用hive metastore
- [spark]spark/hive配置metastore为postgresql
- spark sql 无法访问 hive metastore问题解决
- Spark连接Hive的metastore异常
- hive使用mysql保存metastore
- hive使用mysql保存metastore
- hive使用mysql保存metastore
- Hive使用MySQL保存Metastore
- 使用MYSQL作为HIVE的METASTORE
- 使用mysql存储存储hive的metastore
- Spark On Yarn之指定hive-site.xml找不到metastore
- Hive 之使用mysql作为hive的metastore
- 安装并使用mysql5.7作为hive的metastore
- Hive-2.1.1使用MySQL作为metastore配置过程
- hive配置远程metastore
- 【hive】mysql metastore 配置
- Hive Metastore 初探
- Hive metastore MYSQL配置
- springMVC请求处理流程及框架结构
- 哈夫曼树与哈夫曼编码详解及C++模板实现
- 服务端测试相关知识储备
- 添加BCG的EDIT控件
- js 调用浏览器打印
- spark 使用hive metastore
- java求n以内的完全数。所谓的完全数即如果一个数字的所有真因子之和等于自身,则称它为“完全数”或“完美数”
- 页面跳转
- Android 实时视频采集/编码/传输/解码/播放—方案调研
- 微信js sdk invalid signature签名错误 问题解决
- JavaSE IO流( 3 ) File类
- 教你怎么快速配置 React
- Vim入门基础
- Android.mk文件语法规范及使用模板