spark-submit工具参数说明
来源:互联网 发布:apache tiles3 教程 编辑:程序博客网 时间:2024/05/16 17:57
转自:http://my.oschina.net/u/140462/blog/519409
==================================================
执行时需要传入的参数说明
Usage: spark-submit [options] <app jar | python file> [app options]
参数名称
含义
--master MASTER_URL
可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local
--deploy-mode DEPLOY_MODE
Driver程序运行的地方,client或者cluster
--class CLASS_NAME
主类名称,含包名
--name NAME
Application名称
--jars JARS
Driver依赖的第三方jar包
--py-files PY_FILES
用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表
--files FILES
用逗号隔开的要放置在每个executor工作目录的文件列表
--properties-file FILE
设置应用程序属性的文件路径,默认是conf/spark-defaults.conf
--driver-memory MEM
Driver程序使用内存大小
--driver-java-options
--driver-library-path
Driver程序的库路径
--driver-class-path
Driver程序的类路径
--executor-memory MEM
executor内存大小,默认1G
--driver-cores NUM
Driver程序的使用CPU个数,仅限于Spark Alone模式
--supervise
失败后是否重启Driver,仅限于Spark Alone模式
--total-executor-cores NUM
executor使用的总核数,仅限于Spark Alone、Spark on Mesos模式
--executor-cores NUM
每个executor使用的内核数,默认为1,仅限于Spark on Yarn模式
--queue QUEUE_NAME
提交应用程序给哪个YARN的队列,默认是default队列,仅限于Spark on Yarn模式
--num-executors NUM
启动的executor数量,默认是2个,仅限于Spark on Yarn模式
--archives ARCHIVES
仅限于Spark on Yarn模式
- spark-submit工具参数说明
- spark-submit工具参数说明
- spark-submit工具参数说明
- spark-submit工具参数说明
- spark-submit工具参数说明
- spark submit参数说明
- Spark-submit参数说明
- Spark spark-submit 参数
- spark-submit 参数设置说明
- spark-submit常用参数
- spark-submit 参数
- spark-submit使用及说明
- [Spark]Spark 应用程序部署工具spark-submit
- spark submit参数调优
- spark-submit的参数files
- spark-submit参数优化配置
- spark submit参数调优
- spark submit参数调优
- IOS、Android进阶之ReactNative热更新
- caffe遇到 ImportError: libcudart.so.7.5: cannot open shared object file: No such file or directory
- mysql主从数据库状态检测(php)
- add line order to each line and remove the last match of each line
- 【译】“错误”的使用 Swift 中的 Extension
- spark-submit工具参数说明
- Linux命令学习手册-wc命令
- MySQL索引原理及慢查询优化--美团分享
- 个人界面 < 头像 > 图像添加,其他颜色的边框(内外都可以)
- 绿色版mysql安装过程
- NDK笔记
- KNN算法在保险业精准营销中的应用
- Office Word 是如何根据字体的 OS/2 表等信息计算「单倍行距」的
- STL之deque