Hadoop集群节点扩展

近期因为Hadoop集群的三个节点磁盘存储空间不足，经常导致集群服务出现停止运行，因此对三个节点的集群做了一次节点扩展，将原有的三个节点扩展为8个节点，以下是操作过程：

1、以root用户身份登录新增加的5个物理服务器，修改/etc/sysconfig/network文件，将主机名分别修改为datanode03 datanode04 datanode05 datanode06 datanode07

2、关闭新增加的5台物理服务器的防火墙和SElinex

3、修改所有节点的/etc/hosts

4、在新增加的5台服务服务器上安装JDK，注意安装目录和版本与原来三个节点要一致。

5、为新增加的5个物理服务器新建Hadoop用户

6、以Hadoop用户身份登录，配置所有节点之间的SSH免密码登录

7、因为原有三个节点的dfs.namenode.name.dir目录为file:/hdfs/name，所以以root身份在新增加的5台主机上新建/hdfs文件夹，并修改文件夹机器子目录的用户和用户组

chown -R hadoop hdfs

chown -R :hadoop hdfs

8、将主节点namenode中的hadoop安装文件复制到新增加的5个节点中，

9、修改所有节点下的hadoop中的slaves文件，增加如下内容

10.30.16.34 datanode03
10.30.16.35 datanode04
10.30.16.36 datanode05
10.30.16.37 datanode06
10.30.16.38 datanode07

10、修改hadoop-2.5.0/etc/hadoop/hdfs-site.xml文件将HDFS中数据的副本数改为3

11、在新增5个节点的hadoop安装目录下执行sbin/hadoop-daemon.sh start datanode启动datanode

12、在新增5个节点的hadoop安装目录下执行sbin/yarn-daemons.sh start nodemanager启动yarn

13、在主节点执行hadoop dfsadmin -refreshNodes以刷新识别新增加的节点

14、在主节点执行bin/hadoop dfsadmin -report看新增加节点有没有生效

15、在主节点执行sbin/start-balancer.sh进行数据的负载均衡

16、将主节点的HBase安装文件复制到新增节点的相应目录下，并修改所有节点的HBase安装文件中的regionserver文件，新增如下内容

10.30.16.34 datanode03
10.30.16.35 datanode04
10.30.16.36 datanode05
10.30.16.37 datanode06
10.30.16.38 datanode07

17、在新增节点HBase安装目录下执行bin/hbase-daemon.sh start regionserver启动新增节点的HBase。