Yarn集群配置
来源:互联网 发布:怎么快速提升淘宝星级 编辑:程序博客网 时间:2024/03/28 22:16
Yarn集群配置
hadoop是由hdfs、yarn和mapreduce组成,yarn负责调配内存和cpu,在此需要对yarn进行相关配置。
- 1、配置yarn-site.xml文件,用Xshell连接四台机器(master、slave1、slave2、slave3),Xshell有命令发送到所有窗口的功能(工具–>发送输入到所有会话),所以我们可以同时修改四台机器上的yarn-site.xml文件。
输入命令vim /usr/local/hadoop/etc/hadoop/yarn-site.xml
进入yarn-site.xml,写入
<property> <name>yarn.resourcemanager.hostname</name> <value>master<value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle<value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler<value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle<value> </property><property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler<value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033<value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032<value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031<value> </property><property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030<value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048<value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1<value> </property>
- 2、配置mapred-site.xml(四台机器同时配置),进入到/usr/local/hadoop/etc/hadoop目录下,开始是没有mapred-site.xml,但是有一个模板文件叫mapred-site.xml.template,我们执行命令将这个模板命名为mapred-site.xml,如下命令
cp mapred-site.xml.template mapred-site.xml
打开mapred-site.xml,进行配置vim mapred-site.xml
输入如下配置
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
3、启动yarn集群,在master上输入命令
start-yarn.sh
,用jps命令查看启动情况(stop-yarn.sh 关闭集群)4、可以通过浏览器进行查看
输入网址http://192.168.1.128:8088/
阅读全文
0 0
- hadoop2 yarn 集群配置
- spark 配置:yarn集群
- 配置yarn集群
- Yarn集群配置
- Hadoop v2(Yarn)伪集群配置
- 手动配置安全的Hadoop YARN集群
- CDH集群中YARN的参数配置
- CDH集群中配置Yarn资源
- yarn 集群
- Hadoop v2(Yarn)集群配置(ubuntu 12.04)
- Hadoop 2.2 YARN分布式集群搭建配置流程
- 在Hadoop YARN之上配置Spark集群(一)
- 在Hadoop YARN之上配置Spark集群(二)
- 配置yarn调度器后,自动刷新集群队列
- Hadoop HA on Yarn——集群配置
- Hadoop HA on Yarn——集群配置
- Hadoop基础教程-第5章 YARN:资源调度平台(5.3 YARN集群配置)(草稿)
- spark部署yarn集群
- 【重磅发布】《2017开发者调查报告》代码谱写传奇,深度揭秘中国开发者现状
- C++ 单链表基本操作
- 自学Android开发之从虚拟机中导出已安装的Android模拟器
- AS 修改默认继承AppCompatActivity
- 121. Best Time to Buy and Sell Stock
- Yarn集群配置
- 图解排序算法(四)之归并排序
- (大型网站之Nginx)图解正向代理、反向代理、透明代理
- 论文阅读《Network in Network》
- Linux下Jdk1.8的安装与环境变量配置教程
- 如何在liunx服务器中使用supervisorctl命令启动dotnet程序?
- jenkins搭建《一》
- C#读书笔记
- H5 canvas基础入门到捕鱼达人小游戏实现(2)