importtsv工具使用笔记

来源：互联网发布：少见的姓氏知乎编辑：程序博客网时间：2024/05/29 04:36

step 1 :上传
bin/hdfs dfs -put test_datas/user.tsv /user/cyhp/importtsv

示例格式的文件：/user/cyhp/importtsv/user.tsv
1000001,name1,10,female,18317050895
1000002,name2,20,female,18317050895
1000003,name3,,male,18317050895
1000004,name4,,female,18317050895
1000005,name5,,male,18317050895
1000006,name6,60,female,18317050895

step2 ：建表
create 'tsv1','info'

step3 ：导数据
3.1 小数据量的文件
HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` $HADOOP_HOME/bin/yarn jar $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.3.3.jar importtsv '-Dimporttsv.separator=,' -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:age,info:sex,info:phone tsv1 /user/cyhp/importtsv/user.tsv

3.2 大数据量的文件（这种方式不需要创建表）
第一步是将HDFS上的数据复制并转化为HFile文件
HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` $HADOOP_HOME/bin/yarn jar $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.3.3.jar importtsv '-Dimporttsv.separator=,' -Dimporttsv.bulk.output=/user/cyhp/importtsv/hfileout -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:age,info:sex,info:phone tsv2 /user/cyhp/importtsv/user.tsv
第二步是将HFile数据移动到HBase数据目录
HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` $HADOOP_HOME/bin/yarn jar $HBASE_HOME/lib/hbase-server-0.98.6-cdh5.3.3.jar completebulkload /user/cyhp/importtsv/hfileout tsv2

参考链接:
http://wenku.baidu.com/link?url=Gj-bxzJf3fKTAInhTpOdDIKTVY52L-abuBg9zI4iBkJzCODiCbL8jxAPSV9Kw3FN0uzyFQBr6BFLss1GWnsrMRhdRGxZkvKs5-_L136xIZS

0 0