shell执行spark-submit
来源:互联网 发布:网络写手挣钱么 编辑:程序博客网 时间:2024/06/07 13:45
#!/bin/bash# chmod +x ./test.sh 修改权限num=0while(($num<2181))do spark-submit \--master yarn \--deploy-mode cluster \--queue default \--num-executors 45 \--executor-memory 2G \--driver-memory 24G \--archives \--py-files , \--conf spark.dynamicAllocation.enabled=false \--conf spark.yarn.maxAppAttempts=1 \--conf spark.yarn.executor.memoryOverhead=12288 \myfloder.py \--num $num \--output predictions #num=$[num+6] #echo $num let "num+=6" # 自加6done
阅读全文
0 0
- shell执行spark-submit
- Crontab执行java/spark-shell/spark-submit 异常解决方法
- spark-submit提交的shell脚本
- 执行spark-submit脚本报错
- spark-submit 和 spark-shell 后面可跟的参数
- other: Spark-shell和Spark-submit提交程序的区别
- spark源码阅读二-spark-submit执行过程
- spark-submit
- spark-submit
- spark-submit
- spark-submit
- spark-submit
- spark-submit
- 定时执行spark-submit命令--Linux中使用crontab命令
- Spark 之 spark submit
- Spark spark-submit 参数
- ./spark-shell: line 44: 6609 Killed "${SPARK_HOME}"/bin/spark-submit --class
- Spark-shell批量命令执行脚本
- java并发中的CyclicBarrier
- CTU Open Contest 2016 Hot Air Ballooning
- Kotlin 类与继承
- HDU 4734 f(x)
- 梳理下MySQL崩溃恢复过程
- shell执行spark-submit
- C ++ 语言指针
- CTU Open Contest 2016 Colorful Tribune(附测试数据)
- html+css+js 简易展开收起效果
- 声明式异常处理: exception-mapping 元素
- Excel文件密码破解小工具
- 手把手教你在CentOS7安装Java JDK和配置环境变量
- 【剑指offer】【41】找出升序数组中和为给定值的两个数字
- 读入格式