流式计算、实时计算和离线计算

来源:互联网 发布:兄弟连it教育招聘 编辑:程序博客网 时间:2024/05/16 18:34
流式计算和批处理计算 实时计算和离线计算
以水为例,Hadoop可以看作是纯净水,一桶桶地搬;而Storm是用水管,预先接好(Topology),然后打开水龙头,水就源源不断地流出来了。


1、流式计算
流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示
代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。
一句话总结:将源源不断产生的数据实时收集并实时计算,尽可能快的得到计算结果,用来支持决策。


2、批量处理计算




3、实时计算




4、离线计算


未完待续

阅读全文
2 0
原创粉丝点击