hive和hbase集成
来源:互联网 发布:完美证件照软件 编辑:程序博客网 时间:2024/05/19 01:33
1. 检查$HIVE_HOME/lib下有无如下jar包:
guava-14.0.1.jar
,zookeeper.jar
,hive-hbase-handler.jar
,hbase-common.jar
,hbase-server.jar
,hbase-client.jar
,htrace-core.jar
,hbase-protocol.jar
2. 如果缺少,则在$HBASE_HOME/lib中将它们cp过来
3. 配置hive-site.xml
加上如下参数:
<property>
<name>hive.aux.jars.path</name>
<value>/usr/lib/hive/lib/guava-14.0.1.jar,/usr/lib/hive/lib/zookeeper.jar,/usr/lib/hive/lib/hive-hbase-handler.jar,/usr/lib/hive/lib/hbase-common.jar,/usr/lib/hive/lib/hbase-server.jar,/usr/lib/hive/lib/hbase-client.jar,/usr/lib/hive/lib/htrace-core.jar,/usr/lib/hive/lib/hbase-protocol.jar</value>
</property>
在 hive-site.xml 配置文件中增加这个参数 ,不让手工修改的原因是,hive服务重启后,手工修改的配置会被冲掉。
4. 将hbase/conf下的hbase-site.xml文件复制到所有hadoop节点的hadoop/conf下
5. 重启元数据服务器:
service hive-metastore restart
6. 根据hbase的表创建hive的外部表
hbase中查看
hbase(main):004:0> scan 't1'
ROW COLUMN+CELL
rowkey001 column=f1:col1, timestamp=1491029052186, value=value01
1 row(s) in 0.0850 seconds
hive中创建外部表且查询
hive> CREATE EXTERNAL TABLE if not exists t1(
> Rowkey string,
> f1 string
> )
> STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
> WITH SERDEPROPERTIES('hbase.columns.mapping' = ':key,f1:col1')
> TBLPROPERTIES('hbase.table.name' = 't1');
OK
Time taken: 1.443 seconds
hive> select * from t1;
OK
rowkey001 value01
Time taken: 0.677 seconds, Fetched: 1 row(s)
- hive和hbase集成
- hive和hbase集成应用
- hive和hbase集成异常
- Hive Hbase Integration(hive和habse的集成)
- Hive学习总结之五:HBase和Hive的集成
- Hive与HBase集成
- hive 集成hbase 笔记
- hive集成hbase笔记
- Hive与HBase集成
- hive与hbase集成
- hive集成hbase
- hive与hbase集成
- hive与hbase集成
- hive与hbase集成
- Hive HBase集成
- Hive集成HBase详解
- Hive集成HBase详解
- HBase与hive集成
- html <meta>设置自动刷新或者几秒内跳转到指定页面
- 快速计键系统
- Lua内嵌库概念
- java删除指定路径的文件夹
- OpenWrt路由器安装Seafile私有云存储系统
- hive和hbase集成
- Netty从零开始(一)
- Prism框架应用程序界面布局:模块化
- MIT 线性代数(13—15)读书笔记
- ubuntu连接android设备(附最简单方法)(转载)
- Glide的使用
- 例6 用LabVIEW计算生成等于某个给定值的随机数据所用时间
- oracle密码过期ORA-28002: 7天之后口令将过期的解决方法
- Python序列之列表(list)