大数据架构详解从数据获取到深度学习读书笔记

我们将大数据按处理时间的跨度要求可以分为以下几类：

1 基于实时数据流的数据处理（streaming Data processing),通常的是假跨度在数百毫秒到数秒之间

2 基于历史数据的交互式查询（Interactive Query)，通常时间跨度数十秒到数分钟之间

3 复杂的批量数据处理(batch data Processing),通常的时间跨度在几分钟到数小时之间

算子:基本处理单元，负责完成对应的数据的转化

常见的算子：Group,Sort,Orderby,Window