搭建yarn方式管理hadoop2.x
来源:互联网 发布:韩顺平js视频教程下载 编辑:程序博客网 时间:2024/05/17 21:44
yarn负责集群资源管理,用yarn方式管理mapreducer:
客户端提交jar至resourcemanager,resourcemanager分发jar包,NodeManager中的App Mstr组件负责执行,并向resourcemanger请求资源,App Mstr执行的状态向nodemanager汇报。
nodemanager(负责任务的调度和执行)与datanode在同一台机器上,nodemanager中的container组件监控资源.
搭建yarn环境:
1.1.vi yarn-site.xml,内容如下:
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!--不用和hdfs的nameservices名字重复就行 -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>aaa</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!--resoucemanager节点 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node01</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node04</value>
</property>
<!--zookeeper节点 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node01:2181,node02:2181,node03:2181</value>
</property>
1.2.vi mapred-site.xml,内容如下:
<!--mapreduce执行环节是在yarn中 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
1.3 在node01上执行start-yarn.sh,在node04的手动启动备用的resourceManager,命令:yarn-daemon.sh start resourcemanager
1.4 页面url访问:node01:8088,http方式监控resourcemanager页面。
如图:
- 搭建yarn方式管理hadoop2.x
- Hadoop2.x YARN架构
- Hadoop2.x的yarn
- hadoop2.x新特性HDFS HA、YARN HA,分布式搭建
- hadoop2.x下Yarn详解
- hadoop2.x --- yarn 概念 笔记
- Hadoop2+HA+YARN环境搭建
- hadoop2.0.x【3】--Yarn Commands
- Hadoop2.x Yarn作业提交(客户端)
- Hadoop2.x Yarn作业提交(服务端)
- Hadoop2.x Yarn作业提交(客户端)
- Hadoop2.x 让你真正明白yarn
- Hadoop2.x 资源调度框架Yarn
- Hadoop2.x 让你真正明白yarn
- Hadoop2.x搭建步骤
- 搭建hadoop2.6.0 HA及YARN HA
- 搭建hadoop2.6.0 HA及YARN HA
- Hadoop2.2.0集群搭建(HA,联邦,yarn)
- uva 10626Buying Coke
- HBase WAL机制
- 二维灰度地形图山脊线自动提取方法整理(最小生成树)
- hdu 1269 迷宫城堡 判断图是否强连通
- Android安全攻防战,反编译与混淆技术完全解析(下)
- 搭建yarn方式管理hadoop2.x
- Application 启动速度优化
- shell wc
- 算典03_例题_02_Poj-2538
- iOS中的CALayer、CGImageRef和UIimage的区别
- activiti工作流的web流程设计器整合视频教程 SSM和独立部署
- 在线数据备份
- 悼念512汶川大地震遇难同胞 (贪心)
- 自定义控件,双击图片放大功能