Spark定制班第22课:Spark Streaming架构源码图解

来源:互联网 发布:java如何进行异常处理 编辑:程序博客网 时间:2024/04/30 04:06
本期内容:
1. Spark Streaming再思考
2. Spark Streaming架构源码图解

Spark Streaming的基本架构可以类比食物的消化,来理解流数据的处理。

Spark Streaming有多种数据源,流进Spark集群。Spark集群的Receiver收到通讯后,通过RPC通讯机制给Driver,Driver的DStream按照时间进行计算,会生成RDD,RDD的多项操作也都是在Spark集群上进行的。
0 0
原创粉丝点击