关于Hadoop安全集群和非安全集群间Distcp的使用
来源:互联网 发布:top域名有价值吗 编辑:程序博客网 时间:2024/06/05 13:28
1、需求:有两个集群,网络中节点是互通的,现在要用distcp进行文件迁移,但一个集群是非安全集群,一个是配置了kerberos认证的安全集群,怎么执行呢?
2、前提:两个集群都做了HA配置,所以要通过如下命令查看活动Namenode并获取其IP地址;
HA配置查看活动Namenode:hdfs haadmin -getServiceState nn1或nn2(namenode名);
3、试验:
目的平台执行hadoop distcp hdfs://IP:8020/pgw/ hdfs://namenode:8020/pgw/
源平台执行hadoop distcp hdfs://IP:8020/pgw/ hdfs://IP:8020/pgw/
都不行。
分析后,关系 Cross-realm authentication问题,配置core-site.xml 需降低安全配置;
<property><name>ipc.client.fallback-to-simple-auth-allowed</name>
<value>true</value>
</property>
4、解决:在目的平台执行
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -D dfs.checksum.type=CRC32 webhdfs://namenode IP:50070/data/ /data
命令中直接回退安全配置,同时采用webhdfs来传输,不过这个采用restfull机制,有IO阻塞风险。
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://namenode IP:50070/flume/data/ /data/
大文件传输时,去掉校验-D dfs.checksum.type=CRC32就正常。
- 关于Hadoop安全集群和非安全集群间Distcp的使用
- hadoop集群的安全模式
- hadoop集群工具distcp使用笔记
- 《Hadoop集群与安全》
- hadoop集群之间的copy---->distcp
- Hadoop集群间distcp方案探讨
- 手动配置安全的Hadoop YARN集群
- Hadoop的集群管理与安全机制
- Hadoop集群管理与安全
- 使用distcp在hadoop集群之间拷贝文件w
- hadoop不同版本的集群数据迁移:distcp
- hadoop集群之间的文件拷贝——distcp
- Hadoop的集群数据、mapreduce管理及安全机制介绍
- Hadoop distcp 跨集群迁移数据
- Hadoop distcp 命令跨集群复制文件
- MongoDB的安全与集群
- Kubernetes集群的安全配置
- 关于PHP线程安全和非线程安全的区别
- Fighting_小银考呀考不过四级
- STM32从boot跳转到app失败
- MaxCompute的分区配置和使用
- SqlServer:死锁查询及进程信息查询
- HongKong二日初体验?
- 关于Hadoop安全集群和非安全集群间Distcp的使用
- Linux无损扩展分区
- SSSP整合&&分页&&CRUD
- 重建二叉树
- SpringBoot微服务 +tomcat集群+Ngnix负载均衡+Mysql主从复制,读写分离(2)
- window下es的head插件安装
- 阿里云SLB HTTPS证书配置
- java 整合redis缓存 springmvc SSM后台框架源码 rest接口 shiro
- idea 下载 git插件