sqoop hbase导入并与hive结合

来源:互联网 发布:知名法学院 知乎 编辑:程序博客网 时间:2024/05/17 09:09
sqoop语句
以tid为主键,info为列族
sqoop import --connect jdbc:mysql://ip/taobao_db --username hive --password 123456 --table mysql_table_name --hbase-table hbase_table_name --column-family info --split-by tid


hbae创建表语句
create 'trade','info'


hive创建表语句
CREATE EXTERNAL TABLE hbase_trade(tid string,dp_id string,created string,modified string,buyer_cod_fee double,) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SERDEPROPERTIES ("hbase.columns.mapping" = "info:dp_id,info:created,info:modified,info:buyer_cod_fee") TBLPROPERTIES("hbase.table.name" = "hbase_table_name");

遗留问题
sqoop导入数据至hbase时,split-by字段只能是一个,处理不了多字段联合主键的情况。
0 0