Hadoop-添加新节点到集群

来源:互联网 发布:单片机485接口电路 编辑:程序博客网 时间:2024/05/16 17:01
  1. 在新节点安装好hadoop
  2. 把namenode的有关配置文件复制到该节点
  3. 修改master和salver文件,增加该节点以上操作也可以通过直接复制一个节点的hadoop到新节点上,而第三步的节点添加则需要每一台机都要配置了,如果机群庞大的话还是很麻烦,那么也可以通过ssh传送配置或者写一些脚本实现。
  4. 设置ssh免密码进出该节点 让新添加的节点可以与其他节点互相通讯
  5. 单独启动该节点的datanode和tasktracker,动态将新增节点加入,而不必要重启集群启动datanode:hadoop-daemon.sh start datanode启动TaskTracker:hadoop-daemon.sh startTaskTracker
  6. 运行start-balancer.sh进行数据负载均衡,目的是为了将其他节点的数据分担一些到新节点上来,比较开销时间。


------------------------------------------------------------动态添加新节点--------------------------------------------------------------------


假定已经有了一个hadoop cluster环境,并且已经有了两个slave节点fkongnix1和fkongnix2,这里需要动态添加一个新的节点fkongnix3.

对于hadoop分布式模式环境的搭建可以参考 hadoop学习之分布式模式

1. 修改${HADOOP_HOME}/conf/slaves文件,在其中添加一个新的slave节点,比如

[plain] view plaincopyprint?
  1. fkongnix1  
  2. fkongnix2  
  3. fkongnix3 (新节点)  
2. 登录到新添加的slave节点上,进入${HADOOP_HOME}目录并运行以下命令:

[plain] view plaincopyprint?
  1. $ bin/hadoop-daemon.sh start datanode   
  2. $ bin/hadoop-daemon.sh start tasktracker   
3. 验证添加是否成功

3.1 访问http://localhost:50070/可以看到"Live Nodes"的数量就从2变成了3;

3.2 也可以通过以下命令行来验证是否成功

[plain] view plaincopyprint?
  1. $ bin/hadoop dfsadmin -report  

0 0
原创粉丝点击