HDFS完全分布式配置

准备阶段，每个节点安装jdk，配置环境变量，注意安装的位置要一致
注意：
1.每台机器的防火墙关闭
2.每台机器配置时间自动同步，或者简单点每台机器时间保持一致（相差不超过30秒）
yum -y install ntpdate
/usr/sbin/ntpdate -u pool.ntp.org 
               */10 * * * *  /usr/sbin/ntpdate -u pool.ntp.org >/dev/null 2>&1
3.网络互通，配置/etc/hosts,能够互ping，便于访问
        4.vi /etc/sysconfig/network，更改每个节点hostname的值


1.修改解压目录下的etc/hadoop中的hadoop-env.sh文件
export JAVA_HOME=/opt/soft/jdk1.7.0_79
export HADOOP_PREFIX=/opt/soft/hadoop-2.5.1
2.修改etc/hadoop下的core-site.xml和hdfs-site.xml mapred-site.xml yarn-site.xml


core-site.xml


<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
</configuration>

分发到其他节点

scp core-site.xml root@node2:/opt/hadoop/etc/hadoop

scp core-site.xml root@node3:/opt/hadoop/etc/hadoop

hdfs-site.xml:


<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/data/dfs</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/data/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

</configuration>

分发到其他节点

scp hdfs-site.xml root@node2:/opt/hadoop/etc/hadoop

scp hdfs-site.xml root@node3:/opt/hadoop/etc/hadoop

mapred-site.xml:


<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

分发到其他节点

scp mapred-site.xml root@node2:/opt/hadoop/etc/hadoop

scp mapred-site.xml root@node3:/opt/hadoop/etc/hadoop

yarn-site.xml:


<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

分发到其他节点

scp yarn-site.xmlroot@node2:/opt/hadoop/etc/hadoop

scp yarn-site.xmlroot@node3:/opt/hadoop/etc/hadoop

3.配置slaves
node1
node2
node3

分发到其他节点

scp slaves  root@node2:/opt/hadoop/etc/hadoop

scp slaves  root@node3:/opt/hadoop/etc/hadoop

4.配置无密码登陆(每个节点都执行)
ssh-keygen后面一路enter
(每个节点都执行)均在全部回话中执行
ssh-copy-id -i /root/.ssh/id_rsa.pub root@node1
ssh-copy-id -i /root/.ssh/id_rsa.pub root@node2
ssh-copy-id -i /root/.ssh/id_rsa.pub root@node3


5.将配置好的hadoop分发到各个节点
6.format格式化
bin/hdfs namenode -format
7.启动
sbin/start-all.sh
8.验证
启动完成后执行hadoop fs -mkdir /user
再执行hadoop  fs -ls /能看到刚创建的目录即可