4、hadoop配置完全分布式

在虚拟机中配置完全分布模式

一、准备工作

1、 修改主机名hostname ,为s116

    /etc/hostname

删除原有的内容，直接将主机名写在里面就行

2、修改hosts文件

/etc/hosts

为

    127.0.0.1 localhost    192.168.1.116  s116    192.168.1.117  s117    192.168.1.118  s118    192.168.1.119  s119

---

3、关闭客户机，并克隆客户机（完整克隆）

4、分别修改 /etc/hostname 为s117 、s118、s119
分别修改ip为 路径【/etc/sysconfig/network-scripts/对应的网卡】
192.168.1.117
192.168.1.118
192.168.1.119

二、开始完全分布式配置

1、网络SSH设置（实现s116对s117、s118、s119的免密登录）

(1)、删除所有主机上的 /home/wang/.ssh/*

$   rm  -rf   /home/wang/.ssh/*

(2)、在s116主机上生成密钥对

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

将S201的公钥文件id_rsa.pub远程复制到s116、s117、s118主机上，并添加到
/home/wang/.ssh/authorized_keys

        scp id_rsa.pub   wang@s116:/home/wang/.ssh/authorized_keys        scp id_rsa.pub   wang@s117:/home/wang/.ssh/authorized_keys        scp id_rsa.pub   wang@s118:/home/wang/.ssh/authorized_keys        scp id_rsa.pub   wang@s119:/home/wang/.ssh/authorized_keys

2、配置相关文件

(1)、在s116修改相关的文件 （full 文件夹下的四个文件）

core-site.xml

<configuration>        <property>                <name>fs.defaultFS</name>                <value>hdfs://116/</value>        </property></configuration>

hdfs-site.xml

<configuration>        <property>                <name>dfs.replication</name>                <value>3</value>        </property></configuration>

mapred-site.xml

        --------------------------------        |             不变              |        --------------------------------

yarn-site.xml

<configuration>    <property>        <name>yarn.resourcemanager.hostname</name>        <value>s116</value>    </property>    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property></configuration>    

hadoop-env.sh添加JAVA_HOME的环境变量

...export JAVA_HOME=/software/jdk....

（2）修改${HADOOP_HOME}/etc/hadoop

    的slaves文件

        s202        s203        s204

3、将s116配置后的文件分发到s117、s118、s119

                scp -r full wang@s117:/software/hadoop/etc/                scp -r full wang@s118:/software/hadoop/etc/                scp -r full wang@s119:/software/hadoop/etc/

4、修改符号链接hadoop到full文件上

删除符号连接

            rm  /software/hadoop/etc/hadoop         //删除符号连接            ln -s  full hadoop  //重建符号连接                ssh s117 rm  /software/hadoop/etc/hadoop            //删除符号连接                ssh s118rm   /software/hadoop/etc/hadoop        //删除符号连接            ssh s119 rm  /software/hadoop/etc/hadoop            //删除符号连接

重新创建符号连接

            ssh  s117  ln -s  full hadoop  //重建符号连接            ssh  s118  ln -s   full hadoop   //重建符号连接            ssh  s119  ln -s  full hadoop   //重建符号连接

5、删除临时目录下的文件

                cd /tmp             rm -rf hadoop-wang            ssh s117 rm -rf /tmp/hadoop-wang            ssh s118 rm -rf /tmp/hadoop-wang            ssh s119 rm -rf /tmp/hadoop-wang

6、删除logs日志文件

        cd /software/hadoop/logs        rm -rf  *        ssh s117  rm  -rf  /software/hadoop/logs/*        ssh s118  rm  -rf  /software/hadoop/logs/*        ssh s119  rm  -rf  /software/hadoop/logs/*

7、在s116上格式化文件系统,并启动

$  hdfs namenode -format$  start-all.sh

查看每个主机都启动了哪些    jps       //s116         ·               NameNode    secondaryNameNode    resourcemanager    jps      //s117    datanode    nodemanager    jps      //s118    datanode    nodemanager    jps       //s119    datanode    nodemanager关闭防火墙，用webui验证，是否成功

systemctl  stop firewalld.service

http://192.168.1.116::50070

这样就应该，应该没有问题了