Spark-submit提交任务到集群
来源:互联网 发布:单片机四轴飞行器原理 编辑:程序博客网 时间:2024/05/18 00:44
1 IDEA 打包
示例代码参考AMPCamp2015之SparkSQL,开发环境使用idea。首先需要将程序打包成jar
选择project structure --》artifacts ,由于集群已经有了运行依赖的jar包,打包时可以将这些jar包排除出去,以减小打包后的jar包的大小。
点击ok,然后选择build --》build artifacts,SparkSQLTest --》build,然后在工程目录的子目录下会生成j对应的jar文件:
2 提交任务
首先启动集群,然后客户端来到spark-submit目录:/app/hadoop/spark131/bin
spark-submit通过命令行的方式提交任务,具体参数信息如下参考:
提交示例如下:
在命令行输入如下命令:
./spark-submit --class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --num-executors 3 /home/kaiseu/MyProject/IdeaProjects/SparkProject/Saprk131/out/artifacts/SparkSQLTest_jar/SparkSQLTest.jar
在web监控界面可以看到:
3 运行结果
结果如下:
0 0
- Spark-submit提交任务到集群
- spark-submit提交任务到集群-案例
- spark-submit提交任务到集群
- spark-submit 提交作业到集群
- Spark提交任务到集群
- Spark提交任务到集群
- spark-submit提交集群命令
- spark-submit提交jar包到集群找不到主类
- 提交任务到spark集群及spark集群的安装
- 【Spark系列6】spark submit提交任务
- Spark集群任务提交
- Spark集群中使用spark-submit提交jar任务包实战经验
- 使用spark-submit提交jar包到spark standalone集群(续)
- spark-submit提交任务的方式
- spark-submit提交任务的方式
- 蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验
- Java Web提交参数到Spark集群执行任务
- Windows Spark On YARN 提交任务到CDH集群
- 自制工具:CSV代码生成器:自动生成CSV文件对应的C++实体类和字段类型解析代码
- SourceTree 本地N个文件夹对应N个远程仓库
- CC2540电量显示
- ABAP常见面试问题
- 【华为oj】汽水瓶
- Spark-submit提交任务到集群
- C_C++变量命名规则
- Git 分布式版本控制系统(一)---git for linux简介和安装
- 手机user agent大全下载 整理发布一批移动设备的user agent【分享】
- GRE动词同义词汇介绍:刺 尖锐
- 技术演绎之 [ java ] java数据类型
- 分布式全文检索系统SolrCloud
- java高分局之JVM命令参数大全(高级垃圾回收选项)
- PHP开始