Hadoop集群动态添加datanode节点步骤

来源:互联网 发布:丝绸抱枕淘宝 编辑:程序博客网 时间:2024/04/30 09:45

总结一下在Hadoop集群动态添加datanode节点相关步骤。


1.     在新节点安装好hadoop,并把namenode的有关配置文件复制到该节点

2.     修改namenode节点的masters和slaves文件,增加该节点

3.     设置各节点ssh免密码进出该节点,设置IP映射

4.     单独启动该节点上的Datanode和Nodemanager

    hadoop-daemon.sh start datanode

    yarn-daemon.sh start nodemanager

5.     运行start-balancer.sh进行数据负载均衡,作用:当节点出现故障,或新增加节点时,数据块分布可能不均匀,负载均衡可以重新平衡各个datanode上数据块的分布

1 0
原创粉丝点击