Strom学习00--介绍
来源:互联网 发布:印刷排版用什么软件 编辑:程序博客网 时间:2024/06/05 14:59
Storm是一个分布式、容错的实时计算系统。
Storm是由BackType开发的实时处理系统,由Twitter开源
在2013年的时候,Storm进入Apache社区进行孵化,最终进 入了Apache顶级项目
Storm实时低延迟的两个原因:
- Storm进程是常驻内存的,不像hadoop里面的不断启停, 就没有不断启停的开销。
- 第二点:Storm的数据不经过磁盘,都在内存中, 处理完了就没有了,数据的交换经过网络 ,这些就避免了磁盘IO的开销。所以Storm延迟低。
高可用性:
- 异常处理
- 消息可靠性保障
可维护性
Storm有个UI可以看到跑在上面的程序监控
二、Hadoop和Storm的区别
- 数据来源:HADOOP是HDFS上某个文件夹下的可能是成TB的数据,STORM是实时新 增的某一笔数据 – 处理过程:HADOOP是分MAP阶段到REDUCE阶段,STORM是由用户定义处理流程, 流程中可以包含多个步骤,每个步骤可以是数据源(SPOUT)或处理逻辑(BOLT)
- 是否结束:HADOOP最后是要结束的,STORM是没有结束状态,到最后一步时,就停 在那,直到有新 数据进入时再从头开始
- 处理速度:HADOOP是以处理HDFS上大量数据为目的,速度慢,STORM是只要处理 新增的某一笔数据即可 可以做到很快。
- 适用场景:HADOOP是在要处理一批数据时用的,不讲究时效性,要处理就提交一个 JOB,STORM是要处理 某一新增数据时用的,要讲时效性
- 与MQ对比:HADOOP没有对比性,STORM可以看作是有N个步骤,每个步骤处理完就 向下一个MQ发送消息, 监听这个MQ的消费者继续处理
二、Storm的拓扑图
0 0
- Strom学习00--介绍
- Strom学习00---ISpout
- Strom学习00---Grouping
- Strom学习00---ack机制
- Strom组件的介绍
- strom 学习笔记
- Strom学习(一)
- Strom学习随笔
- strom入门学习
- strom
- Strom学习01--例子ExclamationTopology
- Strom学习01--例子WordCountTopology
- <一>Strom实时计算学习笔记
- Strom Concepts
- Strom Tutorial
- strom grouping
- Strom命令
- Strom配置
- HDU --1874畅通工程续
- 构造方法(java中跟类名一样的方法名的作用)
- 数据结构之单链表——C++模板类实现
- pentaho下载
- php邮箱找回密码功能
- Strom学习00--介绍
- Rxjava+Retrofit+Realm的天气预报
- MFC消息分类和处理方式
- 迭代器的简单理解和应用
- JAVA蓝桥杯:字符串对比
- 坚持#第139天~证明了一个真理
- extern "C" 的作用
- nodejs中npm深入理解
- smail语法