Hadoop节点热拔插(添加 删除节点)
来源:互联网 发布:手机淘宝改地址怎么改 编辑:程序博客网 时间:2024/05/10 23:59
一、 Hadoop节点热拔插
在Hadoop集群中经常会进行增添节点操作,即实现节点的热拔插。在这些操作中不希望对集群进行重启。
2.在集群中添加节点:
a. 把新节点IP或者主机名字加入到主节点的slaves文件。
b. 登录到新节点,执行:
cd $HADOOP_HOME && bin/hadoop-daemon.sh start datanode && bin/hadoop-daemon.sh start tasktracker
3. 从集群中移走节点,且对移走节点的数据进行备份:
- a. 在主节点的core-site.xml配置文件中添加<property>
<name>dfs.hosts.exclude</name>
<value>$HADOOP_HOME/conf/excludes</value>
</property>
($HADOOP_HOME似应改为绝对路径)
b. 在主节点的$HADOOP_HOME/conf目录下新建文件excludes,每行为需要移走的节点,如:
s140
c. 运行命令:hadoop dfsadmin -refreshNodes,该命令可以动态刷新dfs.hosts和dfs.hosts.exclude配置,无需重启NameNode。此刻datanode消失了,但是tasktracker还存在。
d. 然后通过 bin/hadoop dfsadmin -report查看,结果如下:
Name: 192.168.3.140:50010
Decommission Status : Decommission in progress
Configured Capacity: 310716715008 (289.38 GB)
DFS Used: 59891990052 (55.78 GB)
Non DFS Used: 20663939548 (19.24 GB)
DFS Remaining: 230160785408(214.35 GB)
DFS Used%: 19.28%
DFS Remaining%: 74.07%
Last contact: Fri Aug 13 10:17:20 GMT+08:00 2010
Name: 192.168.3.136:50010
Decommission Status : Normal
Configured Capacity: 487925370880 (454.42 GB)
DFS Used: 101679245034 (94.7 GB)
Non DFS Used: 55873218838 (52.04 GB)
DFS Remaining: 330372907008(307.68 GB)
DFS Used%: 20.84%
DFS Remaining%: 67.71%
Last contact: Fri Aug 13 10:17:21 GMT+08:00 2010
e. 在停掉节点Decommission Status不为Normal前, mapreduce操作会出现异常。
Decommission Status : Decommissioned
说明从91往其他节点同步数据已经完成,如果状态为Decommission Status : Decommissione in process则还在执行。
登录要下架的机器,会发现DataNode进程没有了,但是TaskTracker依然存在,需要手工处理一下
f. 节点移走64G数据需要十分钟左右。
二、 数据负载均衡
1. 在Hadoop集群中新添加一个Datanode时,需要对集群数据进行负载均衡。
2. 在主节点运行bin/start-balancer.sh命令,可以添加参数-threshold 5,threshold是平衡阈值,默认是10%,值越小负载越均衡,但需要更长的时间去执行。
3. 添加s140到集群,执行负载均衡半个小时共负载了4G的数据。
- Hadoop节点热拔插(添加 删除节点)
- Hadoop添加删除节点
- Hadoop添加删除节点
- Hadoop添加删除节点
- Hadoop添加删除节点
- Hadoop添加删除节点
- Hadoop添加删除节点
- Hadoop添加删除节点
- Hadoop添加删除节点
- Hadoop添加删除节点
- Hadoop添加删除节点
- Hadoop添加删除节点
- hadoop添加节点和删除节点
- hadoop添加节点和删除节点
- hadoop删除节点和添加节点
- hadoop添加节点和删除节点
- Hadoop 添加节点和删除节点
- Hadoop节点添加与删除
- linux 内存泄露,数组越界检测工具valgrind
- linux下编译ffmpeg环境
- 处理对象的多种状态及其相互转换——状态模式(State Pattern)
- 产品经理总结——空肥皂盒
- CentOS 6.6图形界面自定义开启终端快捷键
- Hadoop节点热拔插(添加 删除节点)
- mono-3.4.0 源码安装时出现的问题 [do-install] Error 2 [install-pcl-targets] Error 1 解决方法
- Android 百度地图 简单实现--- 美食搜索
- Leetcode Implement Queue using Stacks
- Nginx与jetty结合
- 龙山充电器——常州市龙山电子科技有限公司
- 平安科技移动开发二队技术周报(第十一期)
- JavaScript封装Ajax(类JQuery中$.ajax()方法)
- 回调函数(__stdcall)