spark-submit动态提交的办法(SparkLauncher实战)

来源:互联网 发布:微信猎手软件 编辑:程序博客网 时间:2024/05/22 17:14

spark程序编译完成后,一般都要传送到spark-submit进行调用。


然而为了使程序更加易于集成,需要spark-submit能够动态化


SparkLauncher是spark提供的外部调用的接口。

Package org.apache.spark.launcher Description

Library for launching Spark applications.

This library allows applications to launch Spark programmatically. There's only one entry point to the library - the SparkLauncher class.


从上面的API说明可以看出,支持以编程的方式实现SPARK程序的提交。


于是采用这个API进行实验,果真可以成功。



其中为了将结果获取,还是需要进行一些操作的。目前仅仅是调用PI成功

0 0
原创粉丝点击