Samza--基于hadoop的流处理引擎
来源:互联网 发布:小恶魔 知乎 编辑:程序博客网 时间:2024/05/17 21:51
Samza是近日由LinkedIn开源的一项技术,它是一个分布式流处理框架,专用于实时数据的处理,非常像Twitter的流处理系统Storm。不同的是Samza基于Hadoop,而且使用了LinkedIn自家的Kafka分布式消息系统。
组成Samza的三个部分
使用hadoop的人都应该很熟悉这个体系架构
最大的优点在于和Kafka以及YARN平台比较好的结合,yahoo的storm on yarn还不太成熟,至于Samza这个基于hadoop的流处理框架是否优于yahoo的以及storm,这个还不确定,需要实践去证明。
从官网介绍上看,Samza使用原生的YARN,而其他基于YARN的流处理框架基本都需要创建自己的资源管理框架或者在YARN的基础再运行一层。
官方文档 http://samza.incubator.apache.org/learn/documentation/0.7.0
- Samza--基于hadoop的流处理引擎
- 快速理解SAMZA流处理框架
- 基于Apache Samza,揭秘LinkedIn架构背后的技术
- 实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣
- mahout基于hadoop的推荐引擎代码分析
- 腾讯开源:基于HTML5的图像处理引擎
- 基于HTML5的轻量级图像处理引擎Demo
- 基于HTML5的轻量级图像处理引擎Demo_update1
- 分布式SQL数据库引擎基于Hadoop HDFS
- 基于Hadoop的日志收集框架---Chukwa的处理流程
- 基于图的任务流引擎GraphScheduleEngine
- 基于Hadoop实现通用的并行任务处理
- Giraph:基于Hadoop的开源图形处理平台
- Hadoop MapReduce处理小的压缩文件:基于CombineFileInputFormat
- samza系统的分布式部署
- samza系统的配置解析
- Storm,Trident,Spark Streaming,Samza和Flink主流流处理框架比较
- Apache Mahout的Taste基于Hadoop实现协同过滤推荐引擎的代码分析
- 让iOS应用支持不同版本的系统与设备
- HDU 2825 Wireless Password(AC自动机 + 状态压缩DP 入门)
- 【我下载好主题的压缩包以后要怎么弄下去】
- FFplay源代码分析:整体流程图
- Js 读写文件
- Samza--基于hadoop的流处理引擎
- VirtualBox的ova提取vmdk及vmdk转换vdi方法
- 任意位置调用zencart侧边栏
- django上传文件
- cdc hdc
- 受益一生的15个学习习惯
- Boost里面终于有了multiple precision的工具了
- 【不知不久,与你相隔一个多月的时间了】
- android BitmapFactory的OutOfMemoryError: bitmap size exceeds VM budget解决方案