spark-submit动态提交的办法(SparkLauncher实战)
来源:互联网 发布:微信猎手软件 编辑:程序博客网 时间:2024/05/22 17:14
spark程序编译完成后,一般都要传送到spark-submit进行调用。
然而为了使程序更加易于集成,需要spark-submit能够动态化
SparkLauncher是spark提供的外部调用的接口。
Package org.apache.spark.launcher Description
Library for launching Spark applications.
This library allows applications to launch Spark programmatically. There's only one entry point to the library - the SparkLauncher
class.
从上面的API说明可以看出,支持以编程的方式实现SPARK程序的提交。
于是采用这个API进行实验,果真可以成功。
其中为了将结果获取,还是需要进行一些操作的。目前仅仅是调用PI成功
0 0
- spark-submit动态提交的办法(SparkLauncher实战)
- Spark应用提交指南(spark-submit)
- spark-submit提交任务的方式
- spark-submit提交的shell脚本
- spark-submit提交任务的方式
- spark-submit提交参数设置
- spark-submit提交模式
- 提交spark应用程序spark-submit
- spark之13:提交应用的方法(spark-submit)
- other: Spark-shell和Spark-submit提交程序的区别
- spark之13:提交应用的方法(spark-submit)
- Spark源码系列(一)spark-submit提交作业过程
- Spark源码系列(一)spark-submit提交作业过程
- Spark源码系列(一)spark-submit提交作业过程
- Spark源码解析之任务提交(spark-submit)篇
- Spark源码系列(一)spark-submit提交作业过程
- Spark源码系列(一)spark-submit提交作业过程
- Spark集群中使用spark-submit提交jar任务包实战经验
- 电子小制作:一个家庭常见物理量显示装置
- 物联网: 深圳创客活动亲历之现状
- 英语学习(三)
- 大数据技术名词解释
- Win10下安装EPLAN P8 2.3时虚拟狗安装需要驱动数字签名的解决过程
- spark-submit动态提交的办法(SparkLauncher实战)
- 数据类型TextView中添入int型的错误
- codeforces#331-C - Wilbur and Points-set/贪心乱搞
- jdk+tomcat+eclipse配置
- ARM-RTC的简单使用
- 算法课笔记系列(四)—— 动态规划
- 推荐系统学习02-概述
- 用switch语句制作菜单
- 5.2 高精度运算