梳理一下流式处理、实时计算、Add-hoc、离线计算、实时查询等区别
来源:互联网 发布:qq飞车战魂评测数据 编辑:程序博客网 时间:2024/05/17 08:55
流式处理、实时计算、Add-hoc、离线计算、实时查询 这几个概念在数据处理中经常提高,这里简单的梳理一下他们的区别。
流处理、实时计算属于一类的,即计算在数据变化时,都是在数据的计算实时性要求比较高的场景,能够实时的响应结果,一般在秒级,Yahoo的S4,twiter的storm都属于流处理和实时计算一类的。
Add-hoc和实时查询都计算在query时,实时查询是响应可能千变万化的结果,无法事先通过枚举得到并存储起来,需要根据用户输入的不同实时查询出不同的响应,对实时性要求比较高,比如hbase,内存数据库的查询redis、mongodb等;Add-hoc属于对实时性要求不高的场景。Add-hoc是针对各种临时的、自定义的需求采取的解决方案,比如hive,需求是不确定的,可以通过编写sql来应对各种问题;最近出现的基于hadoop的实时查询Impala,解决了实时性的要求,比hive效率。
离线计算一般是批量处理数据库的过程,比如利用hadoop的mapreduce;内存计算spark类似于mapreduce, 不过是数据是放在在内存中,效率比较高。
- 梳理一下流式处理、实时计算、Add-hoc、离线计算、实时查询等区别
- 流式计算、实时计算和离线计算
- 实时计算与odps离线计算
- 实时计算
- 实时计算
- 离线计算,实时计算和流式计算的概念区分
- Hadoop(三) 大数据离线计算与实时计算
- 第四课记录 离线计算与实时计算
- 实时流式计算Jstorm
- 实时计算、流式处理系统简介与简单分析
- 实时计算、流式处理系统简介与简单分析
- 实时计算、流式处理系统简介与简单分析 .
- 日志和实时流计算处理
- 日志和实时流计算处理
- Storm流式实时计算开源框架(一)
- <一>Strom实时计算学习笔记
- 流式计算strom,Strom解决的问题,实现实时计算系统要解决那些问题,离线计算是什么,流式计算什么,离线和实时计算区别,strom应用场景,Strorm架构图和编程模型(来自学习资料)
- 浅谈实时数据流计算
- YII中过Cdbcriteria标准sql拼装类来设置
- 在windows下与linux虚拟机进行文件共享
- jPBM4.3 -- 第二节 管理流程定义
- “追逐日光”
- CString.Format的详细用法(转)
- 梳理一下流式处理、实时计算、Add-hoc、离线计算、实时查询等区别
- springSecurity源码分析——DelegatingFilterProxy类的作用
- 技术管理者应具备哪些能力?
- 查找 poj1035
- shiro不支持文件上传么
- asound.conf配置
- 修改ebp带来的问题一例
- V8 javascript engine: 用vs2012编译
- Fragment的概念与使用(二)--构建灵活的Android应用UI