hdfs完全分布式

一：环境准备

     1.centOs 4台  ip分别为  192.168.125.201(linux1)、192.168.125.202(linux2)、192.168.125.203(linux3)、       192.168.125.204(linux4)

（1）分别修改主机名称为 linux1、linux2、linux3、linux4  /etc/sysconfig/network

（2）分别修改hosts  /etc/hosts 最后一行增加

          

 2.jdk-7u79-linux-x64.rpm  jdk

 3.hadoop-2.5.1_x64.tar.gz 

 4.zookeeper-3.4.8.tar.gz

二：具体步骤

   （1）。配置无密钥登录

             通过命令ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa，在每台机器生成dsa密钥公钥。

    

   将上述命令生成的dsa公钥通过命令ssh-copy-id -i ~/.ssh/id_dsa.pub root@ip分别放到4台机器上

         

   测试：如下所示，在远程传输文件时，不需要输入密码，则正证明无密钥登录配置成功。

   注意：要确保没一台机器和其他三台包括自己都能进行无密钥登录

（2）安装jdk并配置环境变量

（3）安装hadoop并配置环境变量

     在linux1上修改

      配置文件core-site.xml

   

    并创建文件夹 /root/tools/hadoop_dir

    配置slaves文件，里面写的是你的所有从节点！
vi etc/hadoop/slaves
linux2
linux3
linux4

   配置masters文件，这里要注意的是里面配置的是Secondary NameNode
      vi etc/hadoop/masters
linux2

   配置这个hadoop-env.sh，里面添加JAVA_HOME

   export JAVA_HOME=/usr/java/default

   将hadoop整个文件夹拷贝到其他三台机器上。

   在linux1上执行 hdfs namenode -format

   之后启动

   start-dfs.sh 

   启动成功后 jps 查看进程

   linux1:namenode   linux2:SecondaryNameNode datenode   linu3、linux4:datenode

    搭建成功！