Spark 实践 - 客户端使用spark-submit提交Spark应用程序及注意事项
来源:互联网 发布:cc域名是哪个国家的 编辑:程序博客网 时间:2024/06/05 15:31
一、客户端提交spark应用程序
是指在spark集群之外的机器,提交spark应用程序到spark集群运行。
二、spark-submit提交程序语法
使用spark-submit工具提交Spark应用程序的语法:
./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value> \ ... # other options <application-jar> \ [application-arguments]
--class 应用程序的入口类名;
--master spark 集群的url;
--deploy-mode 部署方式;
--conf 应用程序的sparkContext配置选项;
--application-jar 外部依赖;
--application-arguments 应用程序参数;
三、在客户端使用spark-submit提交spark应用程序时需要注意的事项
1)、客户端机器与spark集群必须互相知道,即相互ping得通;
2)、如果应用程序中用到了本地文件,那么集群中的worker机器都必须有该文件,否则会报找不到文件;
3)、windows客户端,如果应用程序中用到本地文件,那么无法提交到linux环境下的spark集群;
0 0
- Spark 实践 - 客户端使用spark-submit提交Spark应用程序及注意事项
- 提交spark应用程序spark-submit
- Spark -11:Spark Submit提交历史应用程序删除
- [Spark]Spark 应用程序部署工具spark-submit
- spark-submit使用及说明
- spark-submit提交参数设置
- spark-submit提交模式
- 关于spark-submit 使用yarn-client客户端提交spark任务的问题
- Spark -7:提交spark应用程序
- 抛开spark-submit脚本提交spark程序
- Spark应用提交指南(spark-submit)
- 【Spark系列6】spark submit提交任务
- 用spark-submit启动Spark应用程序
- spark-submit提交kafka测试
- spark-submit提交集群命令
- 【Spark1.3官方翻译】 Spark Submit提交应用程序
- Spark 之 spark submit
- Spark spark-submit 参数
- java中请求响应时间监控
- redis是什么?
- JAVA中多线程知识点《上》
- SSH商城Demo --- 一、商城简介、需求
- ZCMU-1276-求和游戏
- Spark 实践 - 客户端使用spark-submit提交Spark应用程序及注意事项
- 查看mysql数据库及表编码格式
- Redis对于key的操作命令
- IEEE754浮点数规格化表示
- Vim操作摘记-TAB、VIMGREP、折叠
- Redis字符串类型的操作
- Spring AOP之Introduction(@DeclareParents)简介
- redis link 链表结构
- Visual Studio生成get、set的快捷键