学习总结四:hadoop集群动态增加新节点及下架一个节点

来源:互联网 发布:java 网络框架 编辑:程序博客网 时间:2024/05/21 09:14

         假设现有集群有三个节点(hadoop0,hadoop1和hadoop2),hadoop0是主节点,hadoop1和hadoop2是从节点

hadoop0,hadoop1和hadoop2在各自服务器的安装目录都是/usr/local

一.新增一个节点步骤:

1.配置新节点环境,假设新节点是hadoop3

2.把新节点的hostname配置到主节点的slaves中

  操作命令: cd  /usr/local/hadoop0/conf

                        vi slaves

 修改内容:   hadoop1

                        hadoop2

                        hadoop3

3.在hadoop3上启动从节点的两个进程datanode和tasktracker

操作命令:cd  /usr/local/hadoop3/bin

                    hadoop-daemon.sh start datanode

                    hadoop-daemon.sh start tasktracker 

验证:jps

            可以看到两个新启动的进程 datanode 和tasktracker

4.在hadoop0主节点上扫执行命令:hadoop dfsadmin -refreshNodes

作用:通知主节点有新节点加入。

验证:http://hadoop0:50070 查看下新节点是否加进来


二.动态下架一个节点,如下架hadoop3

步骤:

1.在hadoop3上执行命令:jps 查看datanode的进程id号,比如id为2132

2.然后执行杀死进程命令:kill -9 2132

此时主节点会检查集群连接状态,如果等10分钟左右还没连接上hadoop3,就会认为该节点已经宕掉,

就会正式宣布该节点下架了。

  

0 0
原创粉丝点击