Spark运行模式

部署模式

• client
• cluster

集群管理模式

• local
• cluster
  
  • standalone: org.apache.spark.deploy.Client / org.apache.spark.deploy.rest.RestSubmissionClient
  • yarn: org.apache.spark.deploy.yarn.Client
  • mesos: org.apache.spark.deploy.rest.RestSubmissionClient

提交App到YARN集群

1. 初始化YARN client
2. 调用client的createApplication()方法，在Resource Manager上创建App，返回一个YarnClientApplication，其中包含了 ApplicationSubmissionContext和GetNewApplicationResponse对象。
3. 从newAppResponse中获取appId和验证资源情况。
4. 创建ApplicationSubmissionContext以提交到Application Master。
5. 调用client的submitApplication()方法提交应用。