Hbase集群间数据迁移方法总结
来源:互联网 发布:网络教育在职教育 编辑:程序博客网 时间:2024/05/14 19:37
呵呵,今天花了一天的时间查资料做测试,略微的总结了一下hbase数据迁移的方法。
一、需要在hbase集群停掉的情况下迁移
步骤:(1)执行hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest" (2)在new cluster执行./hbase org.jruby.Main add_table.rb /hbase/table20111222,将拷贝来的表加入到.MEAT.中(会出现region的数目不一致的问题,这个需要重启hase才能解决) 说明:(1)filelist为hdfs上的列表文件,内容如下: /hbase/table20111222 /hbase/table20120131 (2)如果两个集群的hadoop版本不一致,需要在new cluster上执行hadoop distcp,否则会出现读写异常;
二、在集群运行的时候进行数据迁移
1、Replication:这个是动态的备份(可以理解为实时备份)
步骤:(1)在old cluster将需要迁移的表属性进行修改: disable 'your_table' alter 'your_table', {NAME => 'family_name', REPLICATION_SCOPE => '1'} enable 'your_table' (2)打开new cluster集群的replication,修改hbase-site.xml <property> <name>hbase.replication</name> <value>true</value> </property> (3)添加peer,在new cluster的hbase shell中执行:add_peer '1','old cluster ip:2181:/hbase',启动replication,执行start_replication 说明:需要两个集群的hadoop版本一致,否则出现读写错误
2、CopyTable:可以在本集群中拷贝一张表,也可以将表拷贝到其他的集群中。
命令:./hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=new cluster ip:2181:/hbase zy_test 说明:(1)拷贝完成,不需要重启机器,在new cluster中就可以看到该表; (2)稳定性还需要考虑,测试过程中遇到一个问题,拷贝过程中始终都停留在这里Lookedup root region location, 查看日志没有什么错误和相关的信息。
3、Export and Import
步骤:(1)在old cluster上执行:./hbase org.apache.hadoop.hbase.mapreduce.Export test hdfs://new cluster ip:9000/zhuangyang/test (2)在new cluster上执行:./hbase org.apache.hadoop.hbase.mapreduce.Import test hdfs://new cluster ip:9000/zhuangyang/test 说明:(1)一定要写全路径,不能写相对路劲; (2)在import前,需要将表事先在new cluster中创建好.
以上都是在old cluster和new cluster网络相通的情况下实现数据迁移的办法。
如果两个集群网络不通,只能先将old cluster中的数据都下载到本地或者其他的地方,然后在人工的转移到new cluster上了,可以参看这篇文章http://blog.csdn.net/hua840812/article/details/6866175。
参考:
hbase book:http://hbase.apache.org/book/ops.backup.html
博客:http://jiajun.iteye.com/blog/952076
- Hbase集群间数据迁移方法总结
- Hbase集群间数据迁移方法总结 .
- Hbase集群间数据迁移方法总结(包括不通信集群)
- hbase集群间数据迁移
- Hbase集群间数据迁移
- hadoop集群间的hbase数据迁移
- HBase集群间不停服迁移数据
- Hadoop集群间HBase数据迁移
- HBase集群数据迁移方案
- TFS集群间数据迁移任务总结
- 在不同hbase集群中迁移数据
- Hbase 手动数据迁移方法
- Hbase集群迁移
- Hbase集群迁移
- HBase跨版本数据迁移总结
- HBase跨版本数据迁移总结
- HBase跨版本数据迁移总结
- HBase跨版本数据迁移总结
- 关于NetworkOnMainThreadException和StrictMode
- OLE上传及下载并修改excel
- Flex编译器参数
- android开发前景
- 软考系统分析师 知识点杂碎 -1
- Hbase集群间数据迁移方法总结
- 关于MaxFileSize 属性的应用
- Android ListView的getBottom获得值问题
- asp.net/c#字符格式化大总结
- 在ant脚本里面,打印显示项目的classpath
- 代理模式--继承
- android 横竖屏限制如何配置
- Oracle导入/导出(imp/exp)命令
- mspdb60.dll , mspdb80.dll,mspdb100.dll等提示找不到的问题