JStorm中的并行( parallelismction )介绍
来源:互联网 发布:cisco 端口隔离 编辑:程序博客网 时间:2024/04/30 10:36
JStorm中的并行( parallelismction )介绍
JStrom中,一个计算任务通过多台机器使得计算分解为多个独立并行运行在集群内执行的任务(tasks),从而得到水平扩展。JStorm中,一个任务(task)就是一个可以运行在集群内任何节点的一个spout或一个bolt实例。
要了解这个并行如何工作的,我们首先要了解在JSorm集群内执行一个拓扑所涉及到的4个重要概念:
- 节点(Nodes)/机器(machines):一个JStorm集群包含一到多个节点,这个节点运行一个work。
- Workers(JVMs):这些是运行在一个节点的独立的JVM进程。每个节点可以配置运行一个到多个workers,即多少个JVM进程。
- Executors(threads):这是运行在一个worker JVM进程的java线程。Strom中,多个tasks可以运行在一个线程中。如果没有覆盖相关配置,Strom会一个task一个线程。JStrom中,一个task一个线程,和Storm不一样了。
- Tasks(bolt/spout实例):Tasks是spouts和bolts的实例,实例方法中的
nextTuple()和execute()方法会被线程调用。
----------
----------
配置拓扑的workers
=======
一个拓扑(topology)可以配置多个workers(jvm进程),配置方式:
> Config config = new Config();
config.setNumWorkers(2);
上面的配置,我们设置了2个workers,默认配置是1,所以我们一般会配置这个参数,以合理利用集群资源。
Jstorm 的组成(The Components of Jstorm)
=======
在Jstorm集群中,集群节点分为两类:主控节点(master node ) 和工作节点(worker nodes)。
主控节点运行者一个守护进程(daemon)称之为Nimbus,它主要负责向集群其它工作节点(worker nodes)分发提交来的代码及分配任务(tasks),并且监视者每个任务的成功与失败。
工作节点(worker nodes)也运行者一个守护进程(daemon)称之为Supervisor,它执行一个拓扑(topology)的一部分。在Jstorm中,一个拓扑(topology)运行在很多机器上的许多工作节点(worker nodes)上。
Jstorm中各节点被设计成无状态的,而它们组成的集群状态被保存在Zookeeper集群上,所以这些节点可以失败或重启而不影响整个系统的健康运行。
Nimbus ---> Zookeeper ---> Supervisor
相关 博文:JStorm中消息确保处理机制 http://blog.csdn.net/doctor_who2004/article/details/47710331
JStorm/Strom配置executors和tasks(线程和实例) http://blog.csdn.net/doctor_who2004/article/details/47709945
- JStorm中的并行( parallelismction )介绍
- Jstorm与Storm中的并行度区分
- JStorm介绍
- JStorm介绍
- JStorm介绍
- JStorm介绍
- storm、jstorm 调研系列(一)----jstorm介绍以及与spark的比较,外加一些基础概念
- JStorm源码分析(二)JStorm中的基本数据结构—— Fields,Values&Tuples(草稿|无图版)
- jstorm
- jstorm
- Jstorm
- Jstorm
- JStorm
- kafka的并行度与JStorm性能优化
- CentOS 6.8 安装JStorm集群(jstorm-2.1.1 )
- Jstorm 反压(Backpressure)
- C#并行开发中的任务并行(一)
- PC并行端口介绍
- 装饰者模式
- 开发杂记
- HDU - 4081 Qin Shi Huang's National Road System(次小生成树)
- APP的HTML5页面经过运营商网络被植入手机管家问题及分析,解决方案见新文章
- 使用11g DNFS建立基于DNFS的tablespace
- JStorm中的并行( parallelismction )介绍
- 疯狂java——面向对象
- NOI国家集训队论文集
- TCP的三次握手(建立连接)和四次挥手(关闭连接)详解
- 数据结构之二叉树的遍历
- 一份小小的练习
- codeforces 566A Matching Names
- [Elasticsearch] 数据建模 - 处理关联关系(2)
- UVA - 11865 Stream My Contest(朱刘算法)