流式计算、实时计算和离线计算
来源:互联网 发布:兄弟连it教育招聘 编辑:程序博客网 时间:2024/05/16 18:34
流式计算和批处理计算 实时计算和离线计算
以水为例,Hadoop可以看作是纯净水,一桶桶地搬;而Storm是用水管,预先接好(Topology),然后打开水龙头,水就源源不断地流出来了。
1、流式计算
流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示
代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。
一句话总结:将源源不断产生的数据实时收集并实时计算,尽可能快的得到计算结果,用来支持决策。
2、批量处理计算
3、实时计算
以水为例,Hadoop可以看作是纯净水,一桶桶地搬;而Storm是用水管,预先接好(Topology),然后打开水龙头,水就源源不断地流出来了。
1、流式计算
流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示
代表技术:Flume实时获取数据、Kafka/metaq实时数据存储、Storm/JStorm实时数据计算、Redis实时结果缓存、持久化存储(mysql)。
一句话总结:将源源不断产生的数据实时收集并实时计算,尽可能快的得到计算结果,用来支持决策。
2、批量处理计算
3、实时计算
4、离线计算
未完待续
阅读全文
2 0
- 流式计算、实时计算和离线计算
- 离线计算,实时计算和流式计算的概念区分
- 实时计算与odps离线计算
- 梳理一下流式处理、实时计算、Add-hoc、离线计算、实时查询等区别
- 实时流式计算Jstorm
- 流式计算strom,Strom解决的问题,实现实时计算系统要解决那些问题,离线计算是什么,流式计算什么,离线和实时计算区别,strom应用场景,Strorm架构图和编程模型(来自学习资料)
- Hadoop(三) 大数据离线计算与实时计算
- 第四课记录 离线计算与实时计算
- 实时计算
- 实时计算
- 日志和实时流计算处理
- 日志和实时流计算处理
- 现今实时流计算模型
- 离线计算框架MapRedure
- 浅谈实时数据流计算
- 实时计算那些事
- 实时计算应用场景
- 实时计算那些事
- centos7网络配置 以及修改配置文件无效问题
- nginx禁止直接通过ip进行访问并跳转到自定义500页面
- C++ std::move和std::forward源码分析
- Ubuntu 16.04 开发环境
- 网页中点击按钮弹出QQ聊天窗口的功能实现
- 流式计算、实时计算和离线计算
- Unity3D每隔几秒就重复执行一段代码
- after伪元素清楚浮动
- intellij idea创建kotlin项目遇到的项目结构不全的解决办法
- 【菜鸟学框架】——Struts2全局把控
- 什么样的程序猿,最容易被鄙视?
- IAR编译ZStack-CC2530为可下载运行的HEX文件的正确配置:
- openssl 单向认证
- 2----编程实现大小写字母的转换