第2课：通过案例对SparkStreaming 透彻理解三板斧之二

来源：互联网发布：乡村学生教育数据编辑：程序博客网时间：2024/05/21 14:09

空间维度： Y轴代表RDD的依赖关系构成的具体的处理逻辑的步骤，是用DStream Graph表示的

时间维度： X轴按照特定间隔不断的生成job的实例并在集群上运行

随着时间的流失基于DStream Graph不断的生成以RDDGraph也就是DAG的方式产生JOB，并通过JobSchedule的线程池的方式提交Spark Cluster不断的执行。

数据在与不在，sparksteaming不管有没有数据，一直监听

1、需要RDD DAG生成模板DStreamGraph

2、需要基于Timeline的job控制器

3、InputStream和OutputStream代表数据的输入和输出

4、具体JOB运行在SparkCluster之上，此时系统容错就至关重要

5、事务处理，数据有且只有一次的处理。如点击计费系统，不能漏记，公司损失；多计，用户损失。

在处理出现崩溃的情况下，保证Exactly once的事务语义

0 0