Spark调度系列-----3.SparkContext对象的创建和SparkContext的作用
来源:互联网 发布:odps最新sql参考手册 编辑:程序博客网 时间:2024/06/15 06:12
SparkContext是Spark Application程序的表示。在Driver程序中首先创建SparkContext对象,在创建这个对象的时候,Spark Application运行需要的重要参数会在这里初始化。下面的图表述了SparkContext创建初始化的重要参数。
DAGSchedule的作用:Spark Stage的切分等功能,它主要描述了Spark Application如何在集群中运行
TaskScheduler的作用:负责Application任务的调度的具体执行,比如提交任务、取消任务、任务完成后的处理等
驱动SchedulerBackend的作用:不同的运行模式,驱动SchedulerBackend的类型不同,比如Standalone模式是SparkDeploySchedulerBackend,它的父类是CoarseGrainedSchedulerBackend。驱动SchedulerBackend是驱动在集群上的表示,它负责设置用来于Executor通信的驱动Url、包装spark application的运行参数用于和Master通信,接收并处理请求资源的消息等。它的非常重要的成员是创建用于和Master通信的AppClient,AppClient可以向Master发起注册Application的事件,并且告诉Master如何为Application分配资源。它跟TaskScheduler联系比较紧密,它负责消息的接收,但是具体消息的处理由TaskScheduler实现。
SparkEnv为Spark Application运行提供了支撑,Driver和Executor都有自己的SparkEnv。Driver的SparkEnv作用为:
Executor的SparkEnv的作用为:
- Spark调度系列-----3.SparkContext对象的创建和SparkContext的作用
- Spark系列(三)SparkContext分析
- SparkContext创建初始化完成的主要工作
- 坑爹的问题,Spark On Yarn ERROR spark.SparkContext: Error initializing SparkContext.
- 创建SparkContext
- SparkContext的parallelize
- SparkContext的初始化机制
- SparkContext
- SparkContext
- spark中的SparkContext实例的textFile使用的小技巧
- spark中的SparkContext实例的textFile使用的小技巧
- spark中的SparkContext的textFile使用的小窍门
- spark中的SparkContext实例的textFile使用的小技巧
- Spark内核源码深度剖析:sparkContext初始化的源码核心
- spark学习-30-spark2.2.0的SparkContext初始化
- SparkContext的parallelize的参数作用以及MapValues
- SparkContext#runJob方法中func函数的作用
- Spark修炼之道(高级篇)——Spark源码阅读:第二节 SparkContext的创建
- Android视频缩略图(二)
- Target-Action
- Linux内存管理之mmap详解
- linux下tomcat服务的相关命令
- 火云开发课堂 - 《使用Cocos2d-x 开发3D游戏》系列 第十九节:雾
- Spark调度系列-----3.SparkContext对象的创建和SparkContext的作用
- android JSON数据解析
- [HDU 4031]Attack[树状数组区间更新单点查询]
- android 获取一些系统指定路径的方法整理
- PPTP 一键安装脚本
- Yoshua Bengio等大神传授:26条深度学习经验
- 内部项目发布的Nexus仓库创建
- Android 杀掉进程
- 【裸polya定理】poj 2409 Let it Bead