HBase的数据迁移及importTsv功能
来源:互联网 发布:mysql 多主多从 编辑:程序博客网 时间:2024/06/05 14:29
一、数据迁移场景举例
1. HBase集群装好了,若需要往表中装数据;
2. 数据的备份,如测试集群往生产集群上迁移。
二、几种HBase数据导入方式
1. 使用HBase Put API:例如MapReduce也是使用Put API;
2. 使用HBase批量加载工具;
3.自定义的MapReduce job
这三种方式都涉及到Put内置,大多数数据迁移场景都涉及到数据的导入(import),从存在的RDBMS导入到HBase中去,大多数简单直接的方法是直接获取数据,使用单线程,这种效果非常慢,其实可以写多线程完成。
三、importTsv功能
ImportTsv是HBase官方提供的基于MapReduce的批量数据导入工具。同时,ImportTsv是HBase提供的一个命令行工具,可以将存储在HDFS上的自定义分隔符(默认\t)的数据文件,通过一条命令方便的导入到HBase表中,对于大数据量导入非常有用。
那么,如何使用ImportTsv呢?
第一步,建立student.tsv文件,如下图:
第二步,编辑student.tsv文件,添加以下内容,并保存,如下图:
第三步,创建一个目录,如下图:
第四步,上传文件,如下图:
第五步,建表,在HBase中创建一个名为student的表,列簇为info。
第六步,开始运行MapReduce,命令如下:
第七步,查看student表格结果,如下图:
通过以上步骤可以将一个tsv文件的数据导入到hbase的表格中。
- HBase的数据迁移及importTsv功能
- HBase ImportTsv导入数据
- HBase ImportTsv导入数据
- HBase工具ImportTsv导入数据
- HBase 0.96.0 的数据导入: 利用ImportTsv,completebulkload,Import
- 利用HBase提供的ImportTSV工具导入数据
- ImportTsv-HBase数据导入工具
- HBase数据快速导入之ImportTsv&Bulkload
- ImportTsv-HBase数据导入工具
- HBase数据快速导入之ImportTsv&Bulkload
- 《hbase学习》-04-HBase数据快速导入之ImportTsv
- Hbase importtsv.separator指定非显示字符的办法
- 使用HDFS和HBASE导出导入功能进行数据迁移
- hadoop集群间的hbase数据迁移
- hbase数据迁移的mapreduce代码
- hbase基于快照的数据迁移
- HBASE的备份策略(数据迁移)
- hbase数据迁移
- 完美解决thinkphp3的mysql连接问题
- PHP安装OCI8扩展
- ButterKnife 自动findView 点击confirm无反应的问题
- 开源项目mark
- 外部过滤器,程序和命令--基本命令
- HBase的数据迁移及importTsv功能
- CEF研究(二)
- backbone model和view
- Controller获得上传文件的绝对路径
- MFC中窗口划线的问题
- redis列表、集合
- Post请求下载文件
- Java并发编程(一)线程的定义、状态、属性
- android 样式全解