Apache Storm集群架构
来源:互联网 发布:基地 阿西莫夫 知乎 编辑:程序博客网 时间:2024/06/04 19:08
Apache Storm的主要亮点是,它是一个容错,快速,没有“单点故障”(SPOF)分布式应用程序。我们可以根据需要在多个系统中安装Apache Storm,以增加应用程序的容量。
让我们看看Apache Storm集群如何设计和其内部架构。下图描述了集群设计。
Apache Storm有两种类型的节点,Nimbus(主节点)和Supervisor(工作节点)。Nimbus是Apache Storm的核心组件。Nimbus的主要工作是运行Storm拓扑。Nimbus分析拓扑并收集要执行的任务。然后,它将任务分配给可用的supervisor。
Supervisor将有一个或多个工作进程。Supervisor将任务委派给工作进程。工作进程将根据需要产生尽可能多的执行器并运行任务。Apache Storm使用内部分布式消息传递系统来进行Nimbus和管理程序之间的通信。
Apache的ZooKeeper的是使用群集(节点组)自己和维护具有强大的同步技术共享数据之间进行协调的服务。Nimbus是无状态的,所以它依赖于ZooKeeper来监视工作节点的状态。
ZooKeeper的帮助supervisor与nimbus交互。它负责维持nimbus,supervisor的状态。
Storm是无状态的。即使无状态性质有它自己的缺点,它实际上帮助Storm以最好的可能和最快的方式处理实时数据。
Storm虽然不是完全无状态的。它将其状态存储在Apache ZooKeeper中。由于状态在Apache ZooKeeper中可用,故障的网络可以重新启动,并从它离开的地方工作。通常,像monit这样的服务监视工具将监视Nimbus,并在出现任何故障时重新启动它。
Apache Storm还有一个称为Trident拓扑的高级拓扑,它具有状态维护,并且还提供了一个高级API,如Pig。我们将在接下来的章节中讨论所有这些功能。
- Apache Storm集群架构
- Apache Storm 集群环境搭建
- apache storm集群配置记录
- vmware安装Apache Storm集群
- storm三之集群架构
- 搭建storm集群(apache-storm-0.9.5.tar.gz)
- 搭建storm集群(apache-storm-0.9.5.tar.gz) .
- Apache Storm学习笔记一:创建Storm集群
- storm教程(一):storm基本概念和集群架构
- 【storm】storm集群安装
- storm笔记:storm集群
- storm 集群
- Apache Storm
- Apache Hadoop集群的安全性架构
- Apache Hadoop集群的安全性架构
- Storm实时数据分析的常用架构(组合):队列服务器+storm集群实时处理+mysql存储
- Storm:storm架构
- Storm架构
- es入门学习之二
- Apache Storm工作流程
- Apache Storm核心概念
- 虚拟机如何利用nat模式上网
- Apache Storm简介
- Apache Storm集群架构
- 【android逆向笔记】(八)从博客找到的可以练习的apk逆向练习第三款
- springboot(三):Spring boot中Redis的使用
- oracle_install
- 关于Android中图片大小、内存占用与drawable文件夹关系的研究与分析
- Kotlin 很受 Java 开发人员的欢迎
- springboot(四):thymeleaf使用详解
- 滴滴国际化项目 Android 端演进
- 数据压缩及Sqlite的大对象字段BLOB数据的读写操作