spark程序提交设置
来源:互联网 发布:旅行商问题和背包算法 编辑:程序博客网 时间:2024/06/07 17:51
官网地址:http://spark.apache.org/docs/latest/submitting-applications.html
1。格式
./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value> \ ... # other options <application-jar> \ [application-arguments]
- –class 入口类
- –master 执行 master url 路径 下边具体介绍
- –deploy-mode 部署模式 默认client (cluster)
- –conf 配置属性 k-value结构
- application-jar 项目路径
- application-arguments 项目参数
2。master种类:
- local 本地单线程
- local[K] 本地多线程(指定K个内核)
- local[*] 本地多线程(指定所有可用内核)
- spark://HOST:PORT 连接到指定的 Spark standalone cluster
master,需要指定端口。 - mesos://HOST:PORT 连接到指定的 Mesos 集群,需要指定端口。
- yarn-client客户端模式 连接到 YARN 集群。需要配置 HADOOP_CONF_DIR。
- yarn-cluster集群模式 连接到 YARN 集群,需要配置 HADOOP_CONF_DIR。
阅读全文
0 0
- spark程序提交设置
- 提交spark程序
- win提交spark程序
- Spark集群模式&Spark程序提交
- 抛开spark-submit脚本提交spark程序
- 提交Spark第一个程序
- 使用Idea提交Spark程序
- spark提交java程序异常
- spark用程序提交任务到yarn
- spark程序提交集群和监控
- Spark 提交.jar程序遇到的问题
- other: Spark-shell和Spark-submit提交程序的区别
- spark提交
- Spark入门(二):打包程序、提交任务到集群
- 本地Spark程序提交到hadoop集群运行流程
- Spark on yarn--几种提交集群运行spark程序的方式
- spark用程序提交任务到yarn Spark自定义分区(Partitioner) textfile使用小技巧 createDirectStream
- 提交spark应用程序spark-submit
- python挣脱内网限制,通过代理服务器访问外网
- The type org.springframework.dao.support.DaoSupport cannot be resolved. It is indirectly referenced
- 基于libRTMP的流媒体直播之 AAC、H264 推送
- 选择排序
- 排序之冒泡排序,选择排序
- spark程序提交设置
- Scala基本语法(二)
- 压缩索引
- Android TextView 文字实现左右对齐(分散对齐、两端对齐)的一个思路
- 三元组(a,b,c)标识a币种到b币种的汇率为c,反向亦成立。 输入一堆这样的三元组,再指定两个币种x y,问x->y的汇率是多少? 请编程实现,并给出时间、空间复杂度。
- Elasticsearch-5.5.0安装head插件
- Spring + MyBatis配置详细教程
- 理解UIView的绘制
- 从关系型数据库到非关系型数据库