hadoop系列文档4-配置Yarn高可用HA
来源:互联网 发布:glibc malloc源码 编辑:程序博客网 时间:2024/04/19 00:19
背景
之前有一篇高可用HDFS HA的配置文档,此文档类似上次,介绍如何配置高可用Yarn’s ResourceManager,在hadoop中默认只有一个ResourceManger,现在增加一个节点,类似我们的NameNode的active/stangdby状态。
参考文章
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html
http://slaytanic.blog.51cto.com/2057708/1423227
架构设计
在一个典型的HA集群中,两台独立的机器被配置成ResourceManger。在任意时间,有且只允许以个活动的ResourceManger,另外一个备用。这个活动的ResourceManger对集群内所有的客户端的操作的负责,另一个备用的只是简单的扮演一个slave,维持足够的状态以便在必要的提供一个快速得故障转移。
手动切换:在自动恢复不可用时,管理员可用手动切换状态,或是从Active到Standby,或是从Standby到Active。
自动切换:基于Zookeeper,但是区别于HDFS的HA,2个节点间无需配置额外的ZFKC守护进程来同步数据。
如何配置Yarn(HA)
注意,在此之前,请先确保已经安装hadoop集群,已经安装zookeeper集群。
分配每个节点需要安装的服务:
在上述基础上,介绍关系配置信息
这是官网推荐的最简配置。下面我自己的配置
自己的配置
如何启动
在这之前,先停掉正在运行的Hadoop集群。
Step1 正常启动hadoop集群
Step2 在另外配置的ResourceManger上启动服务
Yarn-daemon.sh start resourcemanger
启动之后观察状态如下
你也可以使用命令来观察状态。
$ yarn rmadmin-getServiceState rm1 Active
$ yarn rmadmin -getServiceState rm2 standby
- hadoop系列文档4-配置Yarn高可用HA
- hadoop系列文档3-配置Hdfs高可用HA
- hadoop系列文档3-配置Hdfs高可用HA
- Hadoop系列-YARN RM HA 高可用集群
- Yarn HA高可用配置
- Hadoop HA高可用配置
- Hadoop系列-HDFS HA高可用集群
- Hadoop HA(高可用)配置
- Hadoop HA 高可用平台配置实例
- Hadoop HA高可用集群配置详解
- hadoop记录篇4-mapreduce2(yarn)集群安装和ha高可用
- Hadoop基础教程-第9章 HA高可用(9.4 YARN 高可用)(草稿)
- hadoop的HA配置(高可用配置)
- Hadoop,HA高可用集群
- Hadoop 2.0 HA高可用集群配置详解
- Hadoop 2.0 HA高可用集群安装配置
- Hadoop 2.2.0 HDFS HA高可用安装与配置
- docker之hadoop HA高可用配置(六)
- QML中Rectangle的用法和属性
- 和GCD相关的“个数”及“求和”问题——hdu 2588、nyist 1007
- java设计模式——结构型之桥接模式
- css+div绝对居中
- 系统吞吐量、TPS(QPS)、用户并发量、性能测试概念和公式
- hadoop系列文档4-配置Yarn高可用HA
- 关于对AndroidManifest.xml的理解
- 判断字符串是否为”回文“
- QML对键盘事件的处理
- IOS图片转base64字符串和字符串转回图片
- jqurey_servlet_json流程
- Java InputStream&FileInputStream 源代码分析
- 受限玻尔兹曼机——简单证明
- CNN卷积神经网络