hadoop集群增加/删除机器
来源:互联网 发布:软件测手机真伪 编辑:程序博客网 时间:2024/05/21 07:59
增加机器不重启操作如下:
首先,把新节点的 IP或主机名 加入主节点(master)的 conf/slaves 文件。
然后登录新的从节点,执行以下命令:
$ cd path/to/hadoop
$ bin/hadoop-daemon.sh start datanode
$ bin/hadoop-daemon.sh start tasktracker
然后就可以在namanode机器上运行balancer,执行负载均衡
$bin/hadoop balancer
删除机器
不安全的方式
由于Hadoop集群自身具备良好的容错性,可以直接关闭相应的机器,从而达到将该机器撤除的目的。但是如果一次性操作3台以上的机器,就有可能造成部分数据丢失,所以不推荐使用这种方式进行操作。
安全的方式
在集群的Master机器中,新建一个文件:$HADOOP_HOME/conf/nn-excluded-list,在这个文件中指定需要删除的机器主机名(hp3):
hp3
然后,修改Master机器的配置文件:$HADOOP_HOME/conf/hdfs-site.xml,添加如下内容:
<property>
<name>dfs.hosts.exclude</name>
<value>conf/nn-excluded-list</value>
</property>
最后,在Master机器中执行如下命令:
$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes
这样操作完成之后,可以在HDFS集群中看到,hp3机器已经处于Decommission In Progress状态:
我们需要等待一定的时间,等待hp3中datanode的Decommission操作完成以后,再到hp3机器中关闭所有的Hadoop进程即可。
- hadoop集群增加/删除机器
- hadoop集群增加删除节点
- 在Hadoop集群中添加机器和删除机器
- Hadoop集群中添加机器和删除机器
- 在Hadoop集群中添加机器和删除机器
- Hadoop集群节点的动态增加与删除
- Hadoop集群节点的动态增加与删除
- Hadoop集群节点的动态增加与删除
- Hadoop集群节点的动态增加与删除
- HADOOP实践101:在Hadoop集群中添加机器和删除机器
- hadoop集群中增加节点
- hadoop集群删除节点
- Hadoop学习4_CentOS6.5系统下Hadoop2.6.0集群增加机器详细操作
- Hadoop集群机器命名机制
- 三台机器搭建Hadoop集群
- hadoop动态增加删除节点
- hadoop增加和删除节点
- hadoop集群添加删除节点
- 【多线程-Suspend()和Resume()方法】
- Guava学习笔记:Preconditions优雅的检验参数
- IOS中的几种延时方法介绍
- 计算直线的交点数
- 布尔(Boolean)表达式
- hadoop集群增加/删除机器
- Objective-c 学习笔记(四)
- web.xml配置
- css选择器中:first-child与:first-of-type的区别
- QT5.5.1 嵌入式平台 鼠标键盘不能热插拔问题解决(一)
- Retrofit文件上传与下载(xjh 这应该是retrofit1的代码 亲测不行)___http://www.ithao123.cn/content-7813575.html
- Qt “undefined reference to `vtable for”
- ElasticSearch(四)-分布式文档存储
- Ajax 网页和服务器怎么互相传值