yarn分布式(HA)

来源：互联网发布：算法导论 pdf下载编辑：程序博客网时间：2024/06/05 07:37

5个节点：hadoop01，hadoop02，hadoop03，hadoop04，hadoop05（时间同步：ntpdate -u ntp.sjtu.edu.cn）

NNDNZKZKFCJNRMNMhadoop01Y Y Y hadoop02YY Y YYhadoop03 YY Y Yhadoop04 YY Y Yhadoop05 YY Y Y

1、配置yarn-site.xml文件

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

 <property>

   <name>yarn.resourcemanager.ha.enabled</name>

   <value>true</value>

 </property>

<!-- 服务编号 -->

 <property>

   <name>yarn.resourcemanager.cluster-id</name>

   <value>yarn1</value>

 </property>

 <property>

   <name>yarn.resourcemanager.ha.rm-ids</name>

   <value>rm1,rm2</value>

 </property>

 <property>

   <name>yarn.resourcemanager.hostname.rm1</name>

   <value>hadoop01</value>

 </property>

 <property>

   <name>yarn.resourcemanager.hostname.rm2</name>

   <value>hadoop02</value>

 </property>

 <property>

   <name>yarn.resourcemanager.zk-address</name>

   <value>hadoop03:2181,hadoop04:2181,hadoop05:2181</value>

 </property>

</configuration>

2、配置mapred-site.xml文件

<configuration>

    <!-- mapreduce的运行框架，yarn -->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

3、全面停止：

         stop-all.sh

4、zk全部启动：

        zkServer.sh start

5、全面启动：

        start-all.sh

6、手动单独启动(第二个)standby状态的RM

        yarn-daemon.sh start resourcemanager

6、查看mapred的HA是否搭建成功：

        http://hadoop01:8088

        http://hadoop02:8088

        查看hadoop01和hadoop02状态（active和standby），访问standby状态的节点时候，显示访问的节点为standby，然后跳转到active状态的那个节点上。

1 0