hadoop2.2 新增数据节点

来源:互联网 发布:淘宝御泥坊面膜 编辑:程序博客网 时间:2024/05/16 10:10


Hostname

IPHadoop版本Hadoop功能系统hadoop2192.168.119.1312.2.0namenodejdk1.6+hadoopcentos5.9      h2slave1192.168.119.1322.2.0datanodejdk1.6+hadoop+hive+sqoop+mysqlcentos5.9      h2slave2192.168.119.1332.2.0datanodejdk1.6+hadoopcentos5.9

新增

h2slave3192.168.119.1342.2.0datanodejdk1.6+hadoopcentos5.9

1  安装lunix  和以前一样的版本 

2 初始化系统环境

   2.1  设置静态ip

   vi   /etc/sysconfig/network-scripts/ifcfg-eth0
   增加 
   # Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE]
DEVICE=eth0
#BOOTPROTO=dhcp  
# add   
BOOTPROTO=static
ONBOOT=yes
# add  
IPADDR=192.168.119.134
HWADDR=00:0c:29:59:df:84

 重启  网络文件     service network restart

  2.2  安装jdk  配置Java 环境变量

 2.3   关闭防火墙  

         service iptables stop
 
        chkconfig iptables off

3  配置ssh 登陆

    在134机(新增节点)  : cd  root   
               mkdir  .ssh  (新建.ssh目录)

    在131机   (master机)
           cd ~/.ssh  进入目录
           scp authorized_keys 192.168.119.134:/root/.ssh/authorized_keys   复制免密码登陆到134机
           此次要输入密码复制,以后就可以直接免密码ssh 过去

 4 修改hosts文件

  在131机    vi  /etc/hosts
          增加
   192.168.119.134  h2slave3

  复制 到从机 
 scp /etc/hosts h2slave1:/etc/hosts 
 scp /etc/hosts h2slave2:/etc/hosts
 scp /etc/hosts h2slave3:/etc/hosts

5   复制hadoop2.2 到新增节点

  在131 机操作
    scp  -r /home/bigdata/hadoop2.2 h2slave3:/home/bigdata/  

   然后切换到134机  配置hadoop的环境变量

  在131机 修改  修改 /home/bigdata/hadoop2.2/etc/hadoop/slaves  文件

  新增    192.168.119.134                                  #(新节点)

 然后复制到从机

   scp  /home/bigdata/hadoop2.2/etc/hadoop/slaves h2slave1:/home/bigdata/hadoop2.2/etc/hadoop/slaves ;
    scp  /home/bigdata/hadoop2.2/etc/hadoop/slaves h2slave2:/home/bigdata/hadoop2.2/etc/hadoop/slaves
    scp  /home/bigdata/hadoop2.2/etc/hadoop/slaves h2slave3:/home/bigdata/hadoop2.2/etc/hadoop/slaves

 6   平衡节点  在131机的  cd  /home/bigdata/hadoop2.2/sbin


  sh   start-balancer.sh -threshold 5













2 0