集群数据迁移

来源:互联网 发布:东邪西毒 欧阳锋 知乎 编辑:程序博客网 时间:2024/06/07 14:44
静态迁移方案(必须在hbase集群停掉的情况下进行)
hadoop distcp

动态迁移方案
三种:
Replication备份方案
修改hbase-site.xml配置,增加hbase.replication属性,增加表属性REPLICATION_SCOPE属性
add_peer

CopyTable方案
命令:./hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=new cluster  ip:2181:/hbase
注意:
拷贝完成不需要重启机器,就能在新集群中看到该表
稳定性还有待考虑

export and import 方案
在老集群上执行./hbase org.apache.hadoop.hbase.mapreduce.export test hdfs://old cluster ip:9000/xxx
在新集群上执行./hbase org.apache.hadoop.hbase.mapreduce.import test hers://new cluster ip:9000/xxx
注意:一定要写全路径,不能写想对路径
在import前,一定要在新集群中建好表

手动方式
从源hbase集群中复制出hbase数据表到本地目录  hadoop fs -get
目标hbase导入  hadoop fs -put
修复.META.表    hbase hbck -fixMeta
重新分配数据到各regionserver   hbase hbck -fixAssignments
0 0