Hadoop集群间数据拷贝
来源:互联网 发布:手机淘宝买家秀在哪里 编辑:程序博客网 时间:2024/05/22 08:14
有时候,我们需要做Hadoop集群迁移时,要把大量存储在Hadoop集群上的数据也一并迁移过去。有2种方法可以使用:
1. old hadoop cluster--->old local disks---->transmission---->new local disks----->new hadoop cluster
2. old hadoop cluster---->mapreduce--->new hadoop cluster
很显然第一种方法很不靠谱,我们采用第二种方式来做。我们使用的Hadoop提供的distcp来完成集群间的数据拷贝。
1. 配置
说明:只需要在目标(Destination)集群上做如下配置就好了
NameNode:
hdfs-site.xml,加入
<property>
<name>dfs.http.address</name>
<value>0.0.0.0:50070</value>
</property>
<property>
<name>dfs.datanode.address</name>
<value>0.0.0.0:50010</value>
</property>
mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>0.0.0.0:9001</value>
</property>
其它的配置与老的配置一样。
/etc/hosts,在NN内网配置的上方加入外网的配置。如:
外网IP NN主机名
内网IP NN主机名
内网IP DN主机名
…
…
内网IP DN主机名
DataNode:
/etc/hosts,在NN内网配置的上方加入外网的配置。如:
外网IP NN主机名
内网IP NN主机名
内网IP DN主机名
…
…
内网IP DN主机名
2. 重启
NameNode、JobTracker、NadaNode
3. 关闭防火墙
命令:server iptables stop
说明:这里只是为了测试方便,所以将防火墙停止了,实际中应该是要加iptables规则的。
4. 执行集群间拷贝命令
Hadoop distcp /tmp/lalalala.txt hdfs:// Destination 外网IP:9000/tmp/test/lalalala.txt
命令解释:将老的Hadoop上的lalalala.txt(在/tmp目录下)文件拷贝到新的集群上,/tmp/test/lalalala.txt。这里只是拿一个文件做了测试,还可以是目录,更多使用可参看distcp
说明:这里的Destination外网IP:9000中的Port一定要与core-site.xml中的fs.default.name配置的Port一致。
- Hadoop集群间数据拷贝
- hadoop集群远程拷贝数据
- hadoop集群间的hbase数据迁移
- hadoop集群间迁移数据DataX
- Hadoop集群间HBase数据迁移
- Hadoop跨集群数据拷贝工具DISTCP内部源码实现分析
- hadoop集群数据迁移
- hadoop集群数据迁移
- 两个集群之间拷贝数据
- 2.0拷贝1.0集群数据
- 【HBase运维系列】集群间的数据拷贝-copytable
- hadoop distcp拷贝数据问题
- hadoop跨集群传输数据
- Hadoop集群磁盘数据迁移
- 大数据---hadoop集群搭建
- [喵咪大数据]Hadoop集群模式
- 使用distcp在hadoop集群之间拷贝文件w
- hadoop集群之间的文件拷贝——distcp
- JAVA字符串
- C语言基本语法总结
- Offline Image Viewer Guide
- 文章代码背景
- ExtJs4学习(一):正确认识ExtJs4
- Hadoop集群间数据拷贝
- iframe 自适应内容高度
- word2vec 中的数学原理详解(三)背景知识
- 我的中文句法分析器
- fedora 20 install skype
- ios中@class和 #import区别
- [Qt学习篇]UDP编程
- VBA快速转换数据格式,将CBOT结算价历史数据导入数据库(图文)
- 【c++】string类的实现