Hadoop和Storm的4点区别
来源:互联网 发布:java 断点续传 框架 编辑:程序博客网 时间:2024/05/18 01:34
1) Storm与Hadoop的定义与架构有什么不同?
Hadoop是一个可以对海量数据进行分布式处理的软件框架,是Apache的一个项目。
Storm是一个能够实时处理流式的分布式计算系统,是Apache基金会的孵化的一个项目。
2) 应用场景有什么不同?
Hadoop是分布式批处理计算,主要是进行批处理,较多用其进行数据挖掘和分析。2) 应用场景有什么不同?
Storm是分布式实时计算,主要特点是实时性,较多用与对实时性要求较高的场景。
3) 它们是如何对数据进行处理计算的?
Hadoop是磁盘级计算,计算时需要在磁盘中读取数据;其采用的是MapReduce的逻辑,把数据进行切片计算用这种方式来处理大量的离线数据;Hadoop只能处理已经存储在HDFS或者类似HBase数据库中的数据,Hadoop是通过移动计算到这些存放数据的机器上来提高效率。
Storm是内存级计算,需要进行计算的数据直接通过网络导入内存。Storm处理的是实时消息队列中的数据,需要写好一个Topology逻辑,然后对接受的数据进行处理,所以Storm是通过移动数据平均分配到机器资源来获得高效率的。
4) 在数据处理方面有什么不同?
数据来源:
Hadoop使用的是HDFS中的数据,数据量非常大(以TB计);
而Storm的数据是实时增加的。
处理过程:
Hadoop是Map阶段到Reduce阶段;
Storm是由用户定义处理流程,允许具有多个步骤,每步允许是数据源(SPOUT),也允许是处理逻辑(BOLT)。
是否结束:
Hadoop计算到最后一定要结束;
而Storm没有结束状态,当数据计算完就停在那里,直到有新数据输入时再重新开始。
处理速度:
Hadoop是为了处理大量数据,速度慢;
Storm只处理实时新增的数据,速度很快。
适用场景:
Hadoop主要是处理一批数据,对时效性要求不高,需要处理就提交一个JOB;
而Storm主要是处理某一新增数据,故此时效性要求高。
总结:
Hadoop和Storm并没有真的优劣之分,它们有着不同的数据处理方式。当然在实际生产过程中,根据需求搭配使用,让Hadoop和Storm优势互补从而来完成我们所需的数据处理工作。
- Hadoop和Storm的4点区别
- hadoop、storm和spark的区别、比较
- hadoop、storm和spark的区别、比较
- hadoop、storm和spark的区别、比较
- hadoop、storm和spark的区别、比较
- Hadoop、Storm和spark的区别
- Hadoop、storm和Spark的区别、比较
- hadoop、storm和spark的区别
- hadoop、storm和spark的区别、比较
- hadoop、storm和spark的区别、比较
- hadoop与storm的区别
- Hadoop、Storm和Spark 三者的区别、比较
- hadoop与storm的一点区别
- hadoop storm 区别
- hadoop storm 区别
- 基于storm和hadoop的广告系统研究【4】
- Hadoop、Storm、Spark这三个大数据平台的区别和不同的应用场景
- Storm和Hadoop比较
- CI 调整sql查询条件关系
- 查询某个表的索引
- MySQL Cluster (NDB) Installation Guide
- nginx配置php-fpm socket连接
- 创建索引
- Hadoop和Storm的4点区别
- epoll ET模式服务器和客户端源码例子
- SqlServer字段说明查询及快速查看表结构
- RDD的持久化
- 既使用maven编译,又使用lib下的Jar包
- Android7.0中文文档(API)-- AbsoluteLayout.LayoutParams
- SQL 关于错误的日期转换时间戳 , 会出现什么情况
- Deep Learning的推荐学习资源
- 百度SDK定位功能