集群数据迁移
来源:互联网 发布:东邪西毒 欧阳锋 知乎 编辑:程序博客网 时间:2024/06/07 14:44
静态迁移方案(必须在hbase集群停掉的情况下进行)
hadoop distcp
动态迁移方案
三种:
Replication备份方案
修改hbase-site.xml配置,增加hbase.replication属性,增加表属性REPLICATION_SCOPE属性
add_peer
CopyTable方案
命令:./hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=new cluster ip:2181:/hbase
注意:
拷贝完成不需要重启机器,就能在新集群中看到该表
稳定性还有待考虑
export and import 方案
在老集群上执行./hbase org.apache.hadoop.hbase.mapreduce.export test hdfs://old cluster ip:9000/xxx
在新集群上执行./hbase org.apache.hadoop.hbase.mapreduce.import test hers://new cluster ip:9000/xxx
注意:一定要写全路径,不能写想对路径
在import前,一定要在新集群中建好表
手动方式
从源hbase集群中复制出hbase数据表到本地目录 hadoop fs -get
目标hbase导入 hadoop fs -put
修复.META.表 hbase hbck -fixMeta
重新分配数据到各regionserver hbase hbck -fixAssignments
0 0
- hadoop集群数据迁移
- hadoop集群数据迁移
- 集群数据迁移
- 数据迁移:准备集群节点
- hbase集群间数据迁移
- hdfs集群间数据迁移
- HBase集群数据迁移方案
- Hadoop集群磁盘数据迁移
- Hbase集群间数据迁移
- 集群之间数据的迁移
- Hbase集群间数据迁移方法总结
- hadoop集群间的hbase数据迁移
- Hbase集群间数据迁移方法总结 .
- Hadoop distcp 跨集群迁移数据
- 集群间 Hive 数据 迁移 问题
- TFS集群间数据迁移任务总结
- hadoop集群间迁移数据DataX
- 集群间 Hive 数据 迁移 问题
- malloc calloc realloc
- 求a和b的最大公约数
- 获取hadoop版本关联到eclipse中的安装包
- ECharts的使用
- webuploader 使用心得 -1 简介
- 集群数据迁移
- 数据仓库的基本架构
- [LeetCode]35 Search Insert Position
- 有序数组合并
- 409. Longest Palindrome
- 剑指Offer题目JAVA版思路与代码(九)
- hashCode与equals的区别与联系
- 1017. A除以B,第二个测试点始终过不去
- jQuery学习 四 jQuery jQuery 遍历