Hadoop集群中增加新节点

来源：互联网发布：傲剑九阳神功升级数据编辑：程序博客网时间：2024/04/30 14:45

向一个正在运行的Hadoop集群中增加几个新的Nodes

1. 新节点上部署java/hadoop程序，配置相应的环境变量

2. 新节点上增加用户，从master上拷贝id_rsa.pub并配置authorized_keys

3. 新节点上设置host，需要有集群中各节点的host对应

4. 新节点上建立相关的目录，并修改属主

5. master的slaves文件中增加上相的节点，master上增加相应的host

6. 在新节点上启动datanode和tasktracker

/opt/sohuhadoop/hadoop/bin/hadoop-daemon.sh start datanode
/opt/sohuhadoop/hadoop/bin/hadoop-daemon.sh start tasktracker

7. 进行block块的均衡

在hdfs-site.xml中增加设置balance的带宽，默认只有1M：

<property>
    <name>dfs.balance.bandwidthPerSec</name>
    <value>10485760</value>
    <description>
        Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second.
    </description>
</property>

运行以下命令：

/opt/sohuhadoop/hadoop/bin/start-balancer.sh -threshold 3

均衡10个节点，移动400G数据，大概花费了3个小时

The cluster is balanced. Exiting…
Balancing took 2.9950980555555557 hours