Storm进程通信机制分析
来源:互联网 发布:淘宝加盟店可靠吗 编辑:程序博客网 时间:2024/04/29 08:47
来源:Linux社区 作者:lotso
本文主要分析storm的worker进程间消息传递机制,消息的接收和处理的大概流程见下图
在Storm中,worker进程内部的thread通信与worker进程间的通信有一些差别,worker间的通信经常需要通过网络跨节点进行,Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。worker进程内部通信或在同一个节点的不同worker的thread通信使用LMAX Disruptor来完成。
对于worker进程来说,为了管理流入和传出的消息,每个worker进程有一个独立的接收线程(对配置的TCP端口supervisor.slots.ports进行监听)。参数topology.receiver.buffer.size代表接收线程一次最多能接收多少条消息,用户可以自定义配置。接收线程将收到的消息传递给对应的executor(一个或多个)的incoming-queues。对应接收线程,每个worker存在一个独立的发送线程,它负责从worker的transfer-queue中读取消息,并通过网络发送给其他worker,transfer-queue的大小由参数topology.transfer.buffer.size来设置。transfer-queue的每个元素实际上代表一个tuple的集合,当executor的outgoing-queue中的tuple达到一定的阀值,executor的发送线程将批量获取outgoing-queue中的tuple,并发送到transfer-queue中。
每个worker进程控制一个或多个executor线程,用户可在代码中进行配置。每个executor有自己的incoming-queue和outgoing-queue。一个worker进程运行一个专用的接收线程来负责将外部发送过来的消息移动到对应的executor线程的incoming-queue中,executor中的发送线程在outgoing-queue到达一定的阀值后,将outgoing-queue中的消息批量发送给所在worker的transfer-queue。executor的incoming-queue和outgoing-queue的大小用户可以自定义配置。每个executor有单独的线程分别来处理spout/bolt的业务逻辑和从outgoing-queue消费数据并发送到transfer-queue中。
Apache Storm 的历史及经验教训 http://www.linuxidc.com/Linux/2014-10/108544.htm
Apache Storm 的详细介绍:请点这里
Apache Storm 的下载地址:请点这里
本文永久更新链接地址:http://www.linuxidc.com/Linux/2014-12/110158.htm
- Storm进程通信机制分析
- Storm进程通信机制分析
- Storm通信机制,Worker进程间通信,Worker进程间通信分析,Worker进程间技术(Netty、ZeroMQ),Worker 内部通信技术(Disruptor)(来自学习资料)
- Storm通信机制
- Storm通信机制
- 分析Android的进程通信机制
- Storm Worker 进程间通信
- nginx源码分析--进程间通信机制 & 同步机制
- Android进程间通信之Binder机制源码分析
- QT进程间通信详细介绍及QProcess机制分析
- (转)进程通信机制
- 进程通信-消息机制 .
- NGINX 进程通信机制
- 进程通信机制概述
- Socket进程通信机制
- 进程间通信机制
- 进程间通信机制
- NGINX 进程通信机制
- Spring Boot启动报错:Cannot determine embedded database driver class for database type NONE
- weex android 基础与扩展本地图片加载 gif播放自定义module
- HDU 1698 Just a Hook(线段树)
- C# API 根据进程名获取程序句柄
- c/c++算法和数据结构
- Storm进程通信机制分析
- 数据库数据类型
- 前端获取Cookie方法
- python里使用vars()返回当前局部作用域的所有成员函数和成员变量
- 16进制转10进制
- 1047. 编程团体赛(20)
- 第九章 保护Web应用
- CodeForces
- Android Studio 数据库可视化插件