Yarn集群配置

来源:互联网 发布:怎么快速提升淘宝星级 编辑:程序博客网 时间:2024/03/28 22:16

Yarn集群配置

hadoop是由hdfs、yarn和mapreduce组成,yarn负责调配内存和cpu,在此需要对yarn进行相关配置。

  • 1、配置yarn-site.xml文件,用Xshell连接四台机器(master、slave1、slave2、slave3),Xshell有命令发送到所有窗口的功能(工具–>发送输入到所有会话),所以我们可以同时修改四台机器上的yarn-site.xml文件。
    输入命令 vim /usr/local/hadoop/etc/hadoop/yarn-site.xml
    这里写图片描述
    进入yarn-site.xml,写入
<property>    <name>yarn.resourcemanager.hostname</name>    <value>master<value> </property> <property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle<value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>    <value>org.apache.hadoop.mapred.ShuffleHandler<value> </property> <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle<value>  </property><property>        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>       <value>org.apache.hadoop.mapred.ShuffleHandler<value>  </property>   <property>        <name>yarn.resourcemanager.admin.address</name>        <value>master:8033<value>   </property>   <property>        <name>yarn.resourcemanager.address</name>        <value>master:8032<value>   </property>   <property>        <name>yarn.resourcemanager.resource-tracker.address</name>        <value>master:8031<value>   </property><property>        <name>yarn.resourcemanager.scheduler.address</name>        <value>master:8030<value>   </property>   <property>        <name>yarn.nodemanager.resource.memory-mb</name>        <value>2048<value>   </property>   <property>        <name>yarn.nodemanager.resource.cpu-vcores</name>        <value>1<value>   </property>

这里写图片描述

  • 2、配置mapred-site.xml(四台机器同时配置),进入到/usr/local/hadoop/etc/hadoop目录下,开始是没有mapred-site.xml,但是有一个模板文件叫mapred-site.xml.template,我们执行命令将这个模板命名为mapred-site.xml,如下命令
    cp mapred-site.xml.template mapred-site.xml
    打开mapred-site.xml,进行配置
    vim mapred-site.xml
    输入如下配置
  <property>    <name>mapreduce.framework.name</name>    <value>yarn</value>  </property>

这里写图片描述

  • 3、启动yarn集群,在master上输入命令start-yarn.sh,用jps命令查看启动情况(stop-yarn.sh 关闭集群)
    这里写图片描述

  • 4、可以通过浏览器进行查看
    输入网址 http://192.168.1.128:8088/
    这里写图片描述

原创粉丝点击