[云框架]SMACK大数据架构

来源:互联网 发布:组策略禁止安装软件 编辑:程序博客网 时间:2024/06/03 13:29

github地址:https://github.com/cloudframeworks-smack/user-guide-smack

SMACK是一种数据处理的技术组合,S 代表 Spark (引擎)、M 代表 Mesos (容器)、A 代表 Akka (模型)、C 代表 Cassandra (存储)、K 代表 Kafka (消息队列)。

面对数据源数量急剧增加、数据样本获取难度升高、数据分析时效性差、数据分析投资回报率低等一系列挑战,SMACK 可以解决 Hadoop 等熟知技术无法解决的诸多问题,特别是物联网化、API 化趋势下 big data 向fast data转变所带来的新需求,以及大数据处理对于Data Pipeline的依赖。

[云框架]SMACK 大数据架构,在引擎层增加了Flink用于处理实时数据,使用Kubernetes替换 Mesos 作为容器层,以某网站数据为例,提供 SMACK 大数据框架的最佳实践,包括 SMACK、数据接入、数据展示在内的完整框架。

原创粉丝点击