hadoop集群数据迁移
来源:互联网 发布:美工设计基础知识 编辑:程序博客网 时间:2024/05/17 22:59
hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar
如果想在两个运行着不同版本HDFS的集群上利用distcp,使用hdfs协议是会失败的,因为RPC系统是不兼容的。想要弥补这种情况,可以使用基于HTTP的HFTP文件系统从源中进行读取。这个作业必须运行在目标集群上,使得HDFS RPC版本是兼容的。
例如:hadoop distcp hftp://namenode1:50070/foo hdfs://namenode2/bar
cdh如下异常:
Caused by: java.io.IOException: Check-sum mismatch between hftp://ip:50070/flume/CC/normal/2014-06-20/FlumeData.1403222404996.snappy and hdfs://ip:8020/flume/.distcp.tmp.attempt_1404355744480_0004_m_000015_2.
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.compareCheckSums(RetriableFileCopyCommand.java:190)
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.doCopy(RetriableFileCopyCommand.java:125)
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.doExecute(RetriableFileCopyCommand.java:95)
at org.apache.hadoop.tools.util.RetriableCommand.execute(RetriableCommand.java:87)
... 11 more
解决方法:
hdfs增加如此参数
<property>
<name>dfs.checksum.type</name>
<value>CRC32</value>
</property>
另外若目标集群若配置了安全机制,例如kerberos,distcp运行失败,暂时解决办法是禁用安全机制,先将数据迁移。
如果想在两个运行着不同版本HDFS的集群上利用distcp,使用hdfs协议是会失败的,因为RPC系统是不兼容的。想要弥补这种情况,可以使用基于HTTP的HFTP文件系统从源中进行读取。这个作业必须运行在目标集群上,使得HDFS RPC版本是兼容的。
例如:hadoop distcp hftp://namenode1:50070/foo hdfs://namenode2/bar
cdh如下异常:
Caused by: java.io.IOException: Check-sum mismatch between hftp://ip:50070/flume/CC/normal/2014-06-20/FlumeData.1403222404996.snappy and hdfs://ip:8020/flume/.distcp.tmp.attempt_1404355744480_0004_m_000015_2.
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.compareCheckSums(RetriableFileCopyCommand.java:190)
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.doCopy(RetriableFileCopyCommand.java:125)
at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.doExecute(RetriableFileCopyCommand.java:95)
at org.apache.hadoop.tools.util.RetriableCommand.execute(RetriableCommand.java:87)
... 11 more
解决方法:
hdfs增加如此参数
<property>
<name>dfs.checksum.type</name>
<value>CRC32</value>
</property>
另外若目标集群若配置了安全机制,例如kerberos,distcp运行失败,暂时解决办法是禁用安全机制,先将数据迁移。
0 0
- hadoop集群数据迁移
- hadoop集群数据迁移
- Hadoop集群磁盘数据迁移
- hadoop集群间的hbase数据迁移
- Hadoop distcp 跨集群迁移数据
- hadoop集群间迁移数据DataX
- 不同hadoop集群之间迁移hive数据
- hadoop跨集群之间迁移hive数据
- Hadoop集群间HBase数据迁移
- Hadoop新旧集群迁移
- Hadoop集群迁移合并
- hadoop不同版本的集群数据迁移:distcp
- 集群数据迁移
- hadoop集群之间迁移分区表
- Hadoop单机数据迁移
- Hadoop数据目录迁移
- hadoop 数据迁移
- 【源】从零自学Hadoop(17):Hive数据导入导出,集群数据迁移下
- 【C#】读取和写入本地txt文件
- Oracle连接视图DML操作的限制
- Dialog
- hdu 3524 Perfect Squares 推公式求逆元
- 连载《一个程序猿的生命周期》-27、新招的两位“高管”相继离职
- hadoop集群数据迁移
- OpenGL笔记5 矩阵革命Matrix
- HDU1014 - Uniform Generator (gcd的应用)
- Hibernate关联映射关系下的延迟加载剖析
- spring4.0用不了注解,没有注解包
- 如何跨 frame 获取页面元素和函数
- hadoop & hbase 集群安装&启动常见问题解决
- mysql backup script
- java中static关键字用法