Ambari的架构与设计思想
来源:互联网 发布:江财网络教学平台 编辑:程序博客网 时间:2024/05/16 14:48
Ambari包罗了大部分Hadoop生态系统的组件,说明它的抽象层次、设计思想值得我们去研究学习。
Ambari的架构
通过三张图来说明:
第一张架构图告诉我们:Ambari是Hortonworks贡献给社区的、完全开源的、Hadoop生态的集群管理、监控、部署的工具:
第二张架构图告诉我们:
- 对外,Ambari提供ambari web,rest api,ambari shell三大方式操作机群;
- ambari将集群的配置、各个服务的配置等信息存在ambari server端的DB中(比如可以是postgresql);
- ambari server与ambari agent的交流走RPC,即agent向server报告心跳,server将command通过response发回给agent,agent本地执行命令,比如:agent端执行相应的python脚本;
- ambari有自己的一套监控、告警、镜像服务,以可插拔的形式供上层服务调用;
第三张架构图是第二张图的简化:
Ambari的设计思想
Ambari最重要的一块就是将各个Hadoop生态圈的组件抽象成一个个服务,Ambari Stack可以看成一个服务集合,比如,Ambari就使用了Hortonworks的Hortonworks Data Platform(HDP)来做为提供服务的服务栈。
这里简单介绍一下HDP:
- 1
- 2
- 3
- 4
- 5
好,回到Ambari的话题。Ambari Stack下面就对应了一个又一个Ambari Service,比如HDFS,那HDFS包含有不同的组件(Datanode,NameNode),这时Ambari又对其进行了抽象:
一个Service由多个ServiceComponent构成,一个ServiceComponent由多个ServiceComponentHost构成:
- Service: HDFS, YARN, HBase, etc
- ServiceComponent: HDFS.NameNode, YARN.ResourceManager, HBase.RegionServer, etc
- ServiceComponentHost: HDFS.NameNode.HostA, YARN.ResourceManager.HostB, etc
对应上面的三种资源,有三种操作:
- Operation: Service层面的操作(Install/Start/Stop/Config),一个Operation可以作用于一个或多个Service。
- Stage: ServicesComponent层面的操作,根据不同ServicesComponent操作间的依赖关系,一个Operation的所有Task可能被划分成多个Stage,一个Stage内的多个Task相互没有依赖,可以并行执行。
- Task: ServiceComponentHost层面的操作,为了完成一个Operation,需要为不同的机器分配一系列的Task去执行。
需要特别说明的是操作的执行顺序:
- 1
- 2
- 3
下图描述了这三种资源与操作的对应关系:
上述的三个操作抽象是定义态的描述,它们分别对应一个执行态的抽象:
- StagePlan: 执行态的Operation,是一个Stage DAG。
- Action: 执行态的Stage,由多个Command构成。
- Command: 执行态的Task,下发给具体的机器执行。主要有以下几种:
- 1
- 2
- 3
- 4
下图通过一个具体实例(启动HDFS和YARN服务),展示了其Stage DAG的构建逻辑:
阅读全文
0 0
- Ambari的架构与设计思想
- Ambari的架构与设计思想
- Ambari的架构与设计思想
- Ambari的架构与设计思想
- 软件架构设计的思想与模式
- Ambari系统架构设计
- Ambari 架构设计
- Android 架构设计的思想与原则是什么?
- Android 架构设计的思想与原则是什么?
- Android 架构设计的思想与原则是什么?
- 系统分析与架构设计的随想与面向集合的分析设计思想(SOA & SOD)
- 一种精妙的系统架构设计思想
- 项目的技术架构(设计思想)
- Bootstrap之CSS架构的设计思想
- 从一般分布式设计看HDFS设计思想与架构
- Ambari 架构
- ambari架构
- Ambari架构
- js中函数返回值return
- POJ 1113凸包模版题 (自己的凸包模版)
- ViewMate(Gerber查看器)下载 v11.0官方免费版
- php代码优化20点
- XCP协议和A2L文件 – XCP概述
- Ambari的架构与设计思想
- redis 键值相关命令
- 2017 ACM-ICPC 亚洲区(西安赛区)网络赛 E Maximum Flow
- redis 服务器相关命令
- js关于给动态生成的元素绑定事件
- javascript练习题
- 2017 ACM/ICPC 亚洲区域赛 青岛赛区
- js中的4种函数调用模式:函数调用、方法调用、构造器调用、间接调用
- AltiumDesigner特殊形状pcb绘制教程