Hbase整合hive

来源：互联网发布：亚思捷软件编辑：程序博客网时间：2024/05/20 17:40

HBase是被设计用来做k-v查询的，但有时候，也会遇到基于HBase表的复杂统计，写MR很不方便。Hive考虑到了这点，提供了操作HBase表的接口。使用Hive操作HBase中的表，只是提供了便捷性，对于性能上，较MapReduce并不会提升太多，请大家酌情使用（建议只用于离线查询）

1、在hbase中创建好表（通过hbase shell命令创建）

2、在hive中创建于hbase对应的

CREATE EXTERNAL TABLE dmp.lm_pc_user (adx_user_id string,property map<STRING,STRING>) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,property:")TBLPROPERTIES ("hbase.table.name" = "lm_pc_user");

3、在hive中查询hbase的数据（map中获取数据）

4、在hive插入数据到hbase（不建议使用）

INSERT INTO TABLE dmp.lm_pc_userSELECT 'row1' AS adx_user_id, map('aaa','adx') AS property, map('bbb','user_id') AS propertyFROM DUAL limit 1;

阅读全文

0 0