HBase导出CSV格式数据的方法
来源:互联网 发布:mac联网后无法上网 编辑:程序博客网 时间:2024/05/16 05:39
本文的测试环境为hbase-0.96.0 + yarn(hadoop-2.0.3-alpha) + pig-0.12.0。在测试前,先创建了一张名为test的hbase表,它内容非常简单,就只有一行数据:
HBase export工具导出的数据的格式是sequence file。比如,在执行完命令“bin/hbase org.apache.hadoop.hbase.mapreduce.Export test test-output-001”后,hbase会启动一个MapReduce作业,作业完成后会在hdfs上面会生成sequence file格式的数据文件:
当然,对于这类Sequence file格式的数据文件,HBase是可以直接将它导入到HBase的表里面的。
比如,我们创建另外一张hbase空表,名为test-01。命令为:“create 'test-01','cf'”。此时,表test-01的内容为空。
然后,执行命令“bin/hbase org.apache.hadoop.hbase.mapreduce.Import test-01 test-output-001”,随后hbase会启动一个MapReduce 作业:
此时,我们可以看到表test-01中已经成功导入了数据:
如果想从HBase中直接导出CSV格式的数据文件,可以借助Pig。步骤为:
a) 编辑名为ExportHbase.pig的文件:
REGISTER ${HBASE_HOME}/lib/htrace-core-2.01.jar;
REGISTER ${PIG_HOME}/contrib/piggybank/java/piggybank.jar;
x = LOAD 'hbase://test' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('cf:c1');
STORE x INTO 'test-tbl-data.csv' USING PigStorage('$');
b) 执行命令“bin/pig -x mapreduce ExportHbase.pig”,然后Pig会启动一个MapReduce job,执行完毕后会在hdfs上生成CSV格式的数据:
除了利用Pig,还可以用别的方法从HBase 导出CSV格式的数据:
- 编写Java程序,调用HBase API。
具体方法可以参考http://blog.csdn.net/macyang/article/details/8522677.
- 把HBase生成的Sequence file转化成CSV格式的文件
- HBase导出CSV格式数据的方法
- php导入导出CSV格式的数据
- asp.net中导出到Excel的方法汇总及导出Excel/Csv格式数据最优方案(C#)
- asp.net中导出到Excel的方法汇总及导出Excel/Csv格式数据最优方案(C#)
- asp.net中导出到Excel的方法汇总及导出Excel/Csv格式数据最优方案
- csv数据的导出
- Nodejs fastCSV 实现数据的csv格式导出
- 导出CSV格式的文件
- 百万数据已CSV,Txt格式导出
- mongo mongoexport 导出数据为csv格式
- mysql导出数据成csv格式
- SQLServer将数据导出成CSV格式
- mongodb mongoexprt 导出数据 json csv格式
- php 导出数据到csv格式
- web项目导出CSV格式数据
- csv格式导入导出mysql数据
- Neo4j 数据导出为 CSV 格式
- PHP中使用CSV导出数据的方法
- 黑马程序员 交通灯管理系统
- POJ 1067 取石子游戏
- CSS选择器
- hdu 2041 超级台阶
- 用java模拟交通灯系统实现
- HBase导出CSV格式数据的方法
- 【LeetCode】Sort List
- 最短路径--Floyd算法
- 胖子伤不起
- 类成员变量和实例成员变量分别指什么有什么区别(举例说明)?
- [DesignPattern]Observer Pattern (Python)
- Win8 Java Jdk1.6 环境变量配置
- 黑马程序员 银行业务调度系统
- Android Adapter详解