记hadoop集群黑名单移除节点出现问题及解决
来源:互联网 发布:sql是一种什么语言 编辑:程序博客网 时间:2024/06/06 02:34
首先区分一下通过直接下线服务和通过黑名单来移除节点的区别,这两个动作都会涉及到block副本数不够而复制移动恢复的问题,但是通过黑名单的话可以同时移除多个节点,这个是两种情况的主要区别;
步骤:
1.移除nodemanager
在yarn-site.xml中加入以下配置
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/data1/app/hadoop-2.7.1/etc/hadoop/excludes</value>
</property>
同时在文件excludes中加入要移除的节点的hostname
执行yarn rmadmin -refreshNodes 即可,最后可看到yarn资源管理界面出现以下移除节点数,并且nodemanager 服务自动下线;
2.移除datanode
同样要在hdfs-site.xml配置中加入
<property>
<name>dfs.hosts.exclude</name>
<value>/data1/app/hadoop-2.7.1/etc/hadoop/excludes</value>
</property>
执行hdfs dfsadmin -refreshNodes即可,这个时候 会出现一个漫长的block复制的问题,直到复制完datanode下线;
过程中出现的问题是,复制最后剩下700多个block的时候,出现一直复制不了的问题,比如如下
当时是700多个block一直移动不了,等一个小时还是没有什么变化,这个时候就得用上hdfs的的健康监测命令fsck了,通过执行:
hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' 可以看到以下很多的作业的jar包等文件要被复制;
hdfs dfs --setrep命令来更改文件的副本数即可;
如下:
hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> ~/under_replicated_files
for file in `cat ~/under_replicated_files`; do hdfs dfs -setrep 2 $file; done
完成后,可以看到Number of Under-Replicated Blocks 开始复制并且变为0,后面datanode进程最后也自动没了,表示下线成功;
- 记hadoop集群黑名单移除节点出现问题及解决
- Hadoop/HBase集群移除节点
- [解决]ganglia集群中某节点不能移除的问题
- 移除BRBL黑名单
- 移除BRBL黑名单
- Redis集群进阶-移除节点
- 动态的删除Hadoop集群的节点(白名单与黑名单)
- hadoop集群出现两个datanode节点互相排斥的情况解决
- hadoop扩容和移除节点
- Hadoop 委任和解除节点(DataNode和NodeManager) Hadoop 集群管理员经常需要向集群中添加或者移除节点。通常情况下,节点同时运行DataNode和NodeManager。
- hadoop集群经常性节点不能连接问题
- hadoop节点出现了一个异常问题
- Hadoop问题集锦:Hadoop 2.7.0 集群添加新节点
- 5.3 添加移除黑名单号码
- Hadoop集群下线节点
- hadoop集群添加节点
- Hadoop集群节点扩展
- hadoop集群删除节点
- Redis 数据恢复
- bzoj1230[Usaco2008 Nov]lites 开关灯 线段树lazy标记
- mysql lock in share mode 和 select for update
- HDU1003 Max Sum【最大子段和+DP】
- 微信硬件平台
- 记hadoop集群黑名单移除节点出现问题及解决
- 基础背包01(HDU2606,HUD3591)
- java 用poi 生成表格合并单元格放法
- Intent的那些事儿
- 【jzoj5073】【GDOI2017第三轮模拟day1】【影魔】【数据结构】
- LeetCode 43 Multiply Strings
- D3添加title提示信息时出现滚动条时,显示错位的问题
- 使用RecycleView加载不同的布局(类似淘宝京东购物车+推荐商品列表)
- LeetCode -- 120. Triangle