分析MapReduce与Storm的异同
来源:互联网 发布:ubuntu qq五笔输入法 编辑:程序博客网 时间:2024/06/01 07:11
[Author]: kwu
分析MapReduce与Storm的异同
1、MapReduce与Storm处理数据的不同:
MapReduce 处理大数据、批处理,数据是相对不变的。
Storm:流数据、实时处理,流数据在实时变化。
对流数据进行并进处理
1) 对于单机来说,使用多进程,多线程。
2) 多机同时多进程、多线程的数据处理(分布式)
2、MapReduce 与storm都是分阶段
1)map、reduce
2)storm处理的阶段 : spout、bolt
3)MR运行是会结束的,storm是永不停的相当于tomcat的服务。
4)单位时间内处理的数据量,MR大于Storm
5) stream 流时计算。需要实时处理的数据,地震的数据,电商网站的实时数据,推荐,航班。
6)需要看每个月的结果,用MR来处理
3、tuple是storm数据处理的基本单位
实现上相当于MR的KV键值对
4、spout是storm对外的接口
spout是storm数据输入的来源进入了storm处理范围之内
之后的数据交给,bolt阶段处理。
spout --> bolt (处理的单元为 tuple)
通过 oo 封装成 topology
类型MR中的JOB的概念。
5、相关配置文件
MapReduce: mapred-site.xml
storm: Storm.yaml
配置项对大小写及空格敏感
0 0
- 分析MapReduce与Storm的异同
- 分析MapReduce与Storm的异同
- MapReduce\Tez\Storm\Spark四个框架的异同
- MapReduce\Tez\Storm\Spark四个框架的异同
- MapReduce\Tez\Storm\Spark四个框架的异同
- MapReduce、Tez、Storm、Spark四个框架的异同
- Spark 与Storm 异同
- javascript textContent与innerText的异同分析
- Spark Streaming与Storm的对比分析
- Spark Streaming与Storm的对比分析
- Storm的wordcount代码编写与分析
- Spark与Hadoop MapReduce的对比分析
- synchronized与volatile异同分析
- javascript中textContent与innerText的异同分析
- (转)Spark Streaming与Storm的对比分析
- 3.Spark Streaming:与Storm的对比分析
- $*与$@的异同
- 浅析 MapReduce/ Spark/ Spark Steaming/ Storm 与 HBase/HDFS
- EMS、CEM、OEM、ODM、IDH、IDM之间的联系与区别
- 更换jdk版本后,eclipse无法启动。显示:Failed to create the java virtual machine
- Android开发总结笔记 四大组件之Activity(上) 1-2-1
- 通过Dockerfile创建支持SSH服务的CentOS镜像
- 【解决】CentOS防火墙无法启动的问题
- 分析MapReduce与Storm的异同
- linux下添加逻辑分区并挂载(手动和自动方式)
- 关于slimerjs中sendEvent方法的一些体会
- SQL COUNT()函数
- 动软代码生成器之模板功能介绍
- C语言中函数参数入栈的顺序
- PHP savexml()函数
- java对象 深度克隆(不实现Cloneable接口)和浅度克隆
- cocos2d-x创建安卓项目,解决锁屏会黑屏