【Spark工作机制详解】 执行机制

 

Spark主要包括  调度与任务分配、I/O模块、通信控制模块、容错模块  、 Shuffle模块。

 

Spark 按照   ①应用  application  ②作业 job   ③ stage  ④ task   四个层次进行调度，采用经典的FIFO和FAIR等调度算法。