大数据 （八）Hadoop-MapReduce 运行环境之 yarn环境搭建

yarn说明

如下图所示：

        Resource Manager是主节点，Node Manager是从节点。其中主节点负责任务的调度，从节点负责线程的执行。

        Node Manager和  datanode在同一个机器下。

        Client将写好的程序（jar包）提交给Resource Manager，Resource Manage会将jar包给每一个Node Manager传送。程序由App Master执行。

        App Master是namenode的一个组件，专门负责任务的执行。执行时候App Master要去Resource Manager申请资源，分配好资源和App Master就会有一个Container。

搭建步骤

一、进入hadoop配置文件目录，编辑yarn配置文件

        vi /home/hadoop-2.5.1/etc/hadoop/yarn-site.xml

二、将上述文件<configuration>标签内容改为下方所示

<property>   <name>yarn.nodemanager.aux-services</name>   <value>mapreduce_shuffle</value></property><property>   <name>yarn.resourcemanager.ha.enabled</name>   <value>true</value> </property> <property>   <name>yarn.resourcemanager.cluster-id</name>   <value>bjsxt</value> </property> <property>   <name>yarn.resourcemanager.ha.rm-ids</name>   <value>rm1,rm2</value> </property> <property>   <name>yarn.resourcemanager.hostname.rm1</name>   <value>node1</value> </property> <property>   <name>yarn.resourcemanager.hostname.rm2</name>   <value>node2</value> </property> <property>   <name>yarn.resourcemanager.zk-address</name>   <value>node1:2181,node2:2181,node3:2181</value> </property>

三、进入hadoop安装目录下的etc/hadoop目录，执行命令：

        mv mapred-site.xml.template mapred-site.xml

        将目录下的mapred-site.xml.template文件重命名为mapred-site.xml

四、编辑mapred-site.xml文件，配置如下

<configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>

        这个配置表示reduce启动后被yarn接管

五、在node1上执行命令

        start-yarn.sh

        启动yarn主节点

六、在node2上执行命令

        yarn-daemon.sh start resourcemanager

        启动yarn备用节点

七、浏览器输入192.168.1.201：8088可以看到下图resource监控页面

 

八、浏览器输入192.168.1.202：8088可以看到下图页面

九、关掉主resourcemanager，测试node2是否会接管

        在node上执行jps得到下图

      

        上图可以看出resourcemanage的进程id是6178我们执行命令 

        kill -9 6178

        杀掉这个进程

        然后在浏览器地址栏输入192.168.1.202：8088，发现可以进入web监控页面（datanode的监控信息需要等待一会才可以看到）