Spark实时计算的开发平台RCS——阿里流式分析实战
来源:互联网 发布:cdn 端口 编辑:程序博客网 时间:2024/05/16 13:41
Spark开发者会将自己的代码完成开发并提交到yarn集群,之后任务的监控、报警、性能优化等都依赖于开发者本身;为spark开发者提供一套可以完成任务提交、数据接入、任务监控、任务报警、错误日志查看的一体化实时计算的开发平台realtime computing service。通过平台可以:
1. 自助本地提交任务;jar包版本维护在hdfs上
2. 数据接入覆盖主流中间件:kafka、metaq、tt和sls
3. 任务的监控、报警、日志处理
4. spark任务容灾
5. spark集群容灾
朱金清(穆公) 阿里巴巴高级数据专家,目前在阿里从事infrastructure数据的分析和开发工作,专注于spark的实时计算分析;最早加入阿里在淘宝/阿里数据库技术团队从事MySQL/HBase数据库的管理和数据开发. 他将在大会上分享这一演讲议题。
长按二维码识别关注
阅读原文( read more ) 浏览更多演讲议题
阅读全文
0 0
- Spark实时计算的开发平台RCS——阿里流式分析实战
- spark近实时流式计算开源平台
- Spark Streaming(下)--实时流计算Spark Streaming实战
- Spark Streaming(下)--实时流计算Spark Streaming实战
- 基于 Blink SQL 的阿里实时计算平台StreamCompute介绍
- Spark入门实战系列--7.Spark Streaming(下)--实时流计算Spark Streaming实战
- Spark入门实战系列--7.Spark Streaming(下)--实时流计算Spark Streaming实战
- Spark入门实战系列--7.Spark Streaming(下)--实时流计算Spark Streaming实战
- Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming介绍
- Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍
- Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍
- Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍
- Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍
- Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍
- Spark Streaming 流式计算实战
- Pixhawk——rcs源码分析
- 如何基于 Spark Streaming 构建实时计算平台
- 如何基于 Spark Streaming 构建实时计算平台
- 智能产品基础架构掠影--陈智峰 ( Google )
- What it means for machine intelligence and AI-Christopher Nguyen
- 数据驱动: 创建数据文化
- 参加Strata+Hadoop World大会的三大原因
- Hadoop虚拟化
- Spark实时计算的开发平台RCS——阿里流式分析实战
- 深度学习的TensorFlow实现
- Strata+Hadoop World 北京大会
- 微软全球执行副总裁--陆奇博士
- 小米科技联合创始人--黄江吉
- 蚂蚁金服首席技术官--程立
- Strata + Hadoop World北京大会早期门票价格将于24小时后结束
- Strata + Hadoop World 2天培训课程
- Apache Cassandra:多学多得