Spark实时计算的开发平台RCS——阿里流式分析实战

来源:互联网 发布:cdn 端口 编辑:程序博客网 时间:2024/05/16 13:41

Spark开发者会将自己的代码完成开发并提交到yarn集群,之后任务的监控、报警、性能优化等都依赖于开发者本身;为spark开发者提供一套可以完成任务提交、数据接入、任务监控、任务报警、错误日志查看的一体化实时计算的开发平台realtime computing service。通过平台可以:

1. 自助本地提交任务;jar包版本维护在hdfs上

2. 数据接入覆盖主流中间件:kafka、metaq、tt和sls

3. 任务的监控、报警、日志处理

4. spark任务容灾

5. spark集群容灾

朱金清(穆公) 阿里巴巴高级数据专家,目前在阿里从事infrastructure数据的分析和开发工作,专注于spark的实时计算分析;最早加入阿里在淘宝/阿里数据库技术团队从事MySQL/HBase数据库的管理和数据开发. 他将在大会上分享这一演讲议题。

长按二维码识别关注


阅读原文( read more ) 浏览更多演讲议题

阅读全文
0 0
原创粉丝点击