Hbase数据导入方案

来源：互联网发布：网络销售的意义编辑：程序博客网时间：2024/04/26 03:49

1 利用importTsv将csv文件导入到hbase

simple.csv

1,'tom'

2,'sam'

3,'jerry'

命令

create 'hbase-tbl-001','cf'

bin/hbase org.apache.hadoop.hbase.mapreduce.importTsv -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,cf hbase-tbl-001 /simple.csv

2 利用completebulkload将数据导入到hbase （针对数据量很大）

1.先通过importTsv生成HFile

命令

bin/hbase org.apache.hadoop.hbase.mapreduce.importTsv

-Dimporttsv.separator="," -Dimporttsv.bulk.output=/hfile_tmp(生成的hfile在hdfs上的位置) -Dimporttsv.columns=HBASE_ROW_KEY,cf hbase-tal-002 /simple.csv

（会自动创建表hbase-tbl-002）

2 通过completebulkload 将数据导入hbase-tbl-002

命令

hadoop jar lib/hbase-server-0.96.0.jar completebulkload /hfile_tmp hbase-tbl-002

3 利用import导入 (sequencefile)

1 将数据导出

bin/hbase org.apache.hadoop.hbase.mapreduce.Export hbase-tbl-002 /test-output

2 创建表

carete ‘hbase-tbl-003’,'cf';

3 导入

bin/hbase org.apache.hadoop.hbase.mapreduce.Ixport hbase-tbl-002 /test-output

0 0