HBASE-1.2.4批量导入_ImportTsv

来源：互联网发布：win7右下角网络红叉编辑：程序博客网时间：2024/06/07 00:26

1、先把log.txt上传至hdsf。

2、在hbase中定义好表sys_log。

3、export HADOOP_CLASSPATH=/home/takchi/Bigdata/hbase-1.2.4/lib/*:$HADOOP_CLASSPATH

4、bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns='HBASE_ROW_KEY,info:val' '-Dimporttsv.separator=|' sys_log hdfs://chan.takchi:9000/tmp/input/log.txt

4、（或者）./hadoop jar ../../hbase-1.2.4/lib/hbase-server-1.2.4.jar importtsv -Dimporttsv.columns='HBASE_ROW_KEY,info:val' '-Dimporttsv.separator=|' sys_log /tmp/input/log.txt

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

以上导入ctbase的步骤是一步完成的，下面则是通过两步完成。

1、生成HFile
./hadoop jar ../../hbase-1.2.4/lib/hbase-server-1.2.4.jar importtsv -Dimporttsv.columns='HBASE_ROW_KEY,info:val' '-Dimporttsv.separator=|' -Dimporttsv.bulk.output=/tmp/bulk sys_log /tmp/input/log.txt

2、借助completebulkload工具, 将生成的HFile文件导入hbase集群
./hadoop jar ../../hbase-1.2.4/lib/hbase-server-1.2.4.jar completebulkload /tmp/bulk sys_log

2、（或者）./hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles hdfs://chan.takchi:9000/tmp/bulk/ sys_log

1 0