Storm在Zookeeper中的目录结构
来源:互联网 发布:百度云限速破解 知乎 编辑:程序博客网 时间:2024/05/17 05:11
Posted by WeYo. 转载请注明出处:http://weyo.me/pages/techs/storm-with-zookeeper/
本文主要参考自 xumingming 的博文 Twitter Storm源代码分析之ZooKeeper中的目录结构。由于新版本的 Storm 在架构上有了较大的变化,相应的目录结构也有了一些改变。本文主要针对 0.9.x 版本的 Storm 的相关结构做了一些说明。
Storm 的集群运行与状态记录都是由其依赖的 ZooKeeper 完成的。在 ZooKeeper 的客户端可以直接查看相关节点信息。
[zk: localhost:2181(CONNECTED) 1] ls /storm[workerbeats, errors, supervisors, storms, assignments]
从这里可以看出 Storm 在 ZooKeeper 的根节点下记录了5个集群相关属性节点: workerbeats, errors, supervisors, storms, assignments。具体的节点信息如下所示:
/-storm -- storm在zookeeper上的根目录 | |-/assignments -- topology的任务分配信息 | | | |-/{topology-id} -- 这个下面保存的是每个 | topology的assignments | 信息包括: 对应的 | nimbus上的代码目录,所有 | task的启动时间, | 每个task与机器、端口的映射 | |-/storms -- 这个目录保存所有正在运行 | | 的topology的id | | | |-/{topology-id} -- 这个文件保存这个topology | 的一些信息,包括topology的 | 名字,topology开始运行的时 | 间以及这个topology的状态 | (具体看StormBase类) | |-/supervisors -- 这个目录保存所有的supervisor | | 的心跳信息 | | | |-/{supervisor-id} -- 这个文件保存的是supervisor | 的心跳信息包括:心跳时间,主 | 机名,这个supervisor上worker | 的端口号运行时间 | (具体看SupervisorInfo类) | |-/workerbeats -- 所有worker的心跳 | | | |-/{topology-id} -- 这个目录保存这个topology的所 | | 有的worker的心跳信息 | | | |-/{worker-id} -- worker的心跳信息 | |-/errors -- 所有component所产生的error信息 | |-/{topology-id} -- 这个目录保存这个topology下面 | 所有component的出错信息(包括 | topology的所有component与系 | 统的“_acker” | |-/{component-id} -- 这个component的出错信息
对比原先的目录结构与现在的目录结构可以发现,最大变化的是将记录 task 信息改为了记录 worker 与 component 的信息。这种改变体现在 Storm 系统设计上就是实时计算组件的功能分离简化,将 Storm 集群的最小任务单元(task)剥离了工作线程的功能,使得 task 可以聚焦于实时数据处理任务,同时使集群负载调整更加灵活。有趣的是,Hadoop 也通过 Yarn 实现了集群组件功能的分离简化,这也是分布式计算系统的一个发展方向。
0 0
- Storm在Zookeeper中的目录结构
- Storm在Zookeeper中的目录结构
- Storm在zookeeper上的目录结构
- Storm在zookeeper上的目录结构
- Twitter Storm源代码分析之ZooKeeper中的目录结构
- Twitter Storm源代码分析之ZooKeeper中的目录结构
- Twitter Storm源代码分析之ZooKeeper中的目录结构
- Twitter Storm源代码分析之ZooKeeper中的目录结构
- Twitter Storm源代码分析之ZooKeeper中的目录结构
- Twitter Storm源代码分析之ZooKeeper中的目录结构
- Twitter Storm源代码分析之ZooKeeper中的目录结构<转>
- storm目录结构及在zk中的目录结构
- storm目录结构及在zk中的目录结构
- Metaq在zookeeper中的目录结构
- 【流式计算】Twitter Storm源代码分析之ZooKeeper中的目录结构
- zookeeper在storm集群中的应用
- Storm zk目录结构
- kakfa在zookeeper中的节点结构
- Use WEBP
- SylixOS 基于AT91SAM9X25的CAN总线传输流程解析
- vuejs组件使用问题
- 对于192.168.0.0到192.168.0.255这个网络来说,以下说法中正确的是
- openssl源码下载及编译
- Storm在Zookeeper中的目录结构
- [开源]excel文件自动代码配置生成器
- FineReport连接多维数据库示例及操作
- 串口GPS显示坐标信息
- JAVA中inputStream/OutputStream字节输入流、输出流读写文件
- XSS跨站脚本攻击
- DPDK之(六)——内存管理
- Java分布式应用技术架构介绍
- 网络基础