HBase_数据批量导入
来源:互联网 发布:ubuntu当个人日常使用 编辑:程序博客网 时间:2024/06/04 01:12
使用HBase自带的lib包下的hbase-server-xxx.jar中的importtsv和completebulkload导入数据
1.首先需要在Hadoop集群中配置HBase的环境
1.复制hbase-site.xml$HADOOP_HOME/etc/hadoop/
2.编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh,在最后增加一行,意思是将hbase的lib下的所有jar加入到hadoop的classpath目录下。
exportHADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/lib/*
3.将上述两个文件内容复制到集群其他节点
2.将数据上传到HDFS,例如我上传到了/input/hbase/music
3.执行命令,这条命令比较长,实际上是对数据进行了预处理,放到输出路径下。
hadoop jar jar路径 importtsv -Dimporttsv.bulk.output=HDFS输出路径 -Dimporttsv.columns=HBASE_ROW_KEY,列族:列键 表名 HDFS输入路径
比如:
hadoop jar /home/hadoop/apps/hbase/lib/hbase-server-1.3.1.jar importtsv -Dimporttsv.bulk.output=/user/hadoop/tmp -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:singer,info:gender,info:type,info:client music /input/music
4.执行命令,将处理后的数据放入hbase
hadoop jar jar包路径 completebulkload 预处理后的路径 表名
例如:
hadoop jar /home/hadoop/apps/hbase/lib/hbase-server-1.3.1.jar completebulkload /user/hadoop/tmp music
5.查看hbase数据库
阅读全文
0 0
- HBase_数据批量导入
- 数据批量导入数据库
- 批量导入数据
- FireBird批量数据导入
- .net批量导入数据
- 批量导入数据
- Oracle批量数据导入
- jdbc批量导入数据
- excel批量导入数据
- excel数据批量导入
- Redis批量导入数据
- excel批量导入数据
- excel批量导入数据
- excel批量导入数据
- Sqlite3 批量导入数据
- Oracle批量导入数据
- FDAC批量导入数据
- R批量导入数据
- 三星的片子不支持can
- dataTables-使用详细说明整理
- Android面试题
- 互联网公司校招Java面试题总结及答案——京东
- 编译hyperledger fabric官方源码
- HBase_数据批量导入
- hashMap的三种遍历方式
- 2017年的双十一又一次刷新了记录,交易创建峰值32.5万笔/秒、支付峰值25.6万笔/秒。而这样的交易和支付等记录,都会形成实时订单Feed数据流,汇入数据运营平台的主动服务系统中去。数据运营平台的
- 特征选择
- spring boot实战(第四篇)分散配置
- hdu 3555 bomb(数位dp)
- 十位值得关注的Java顶级专家
- 归并排序
- 自定义指令