方便调试spark参数的python脚本
来源:互联网 发布:淘宝上的卫生巾能买吗 编辑:程序博客网 时间:2024/05/21 16:57
# encoding:utf-8__author__ = 'jwang'import oscmd_list = []spark_submit = '/usr/local/datacenter/spark/bin/spark-submit'cmd_list.append(spark_submit)cmd_list.append('--class')cmd_list.append('com.xx.xx.RBK')cmd_list.append('--master')cmd_list.append('yarn')cmd_list.append('--name')cmd_list.append('XXRBK')cmd_list.append('--executor-memory')cmd_list.append('3g')cmd_list.append('--driver-memory')cmd_list.append('3g')cmd_list.append('--executor-cores')cmd_list.append('16')cmd_list.append('xxxx.jar')params = []params.append('xx')params.append('rule')cmd_list.extend(params)exec_cmd = ' '.join(cmd_list)#''print 'start to execute ::: ' + exec_cmdos.system(exec_cmd)os._exit(0)
0 0
- 方便调试spark参数的python脚本
- 非常方便的shell脚本opencv编译以及gdb调试
- 方便的调试方法
- SciTE调试带参数的lua脚本
- python脚本的调试方法讲解
- Scala 造数据脚本,方便Spark做测试用
- 向python脚本传递参数的方法
- 一组方便调试的宏
- 编写方便调试的系统
- python脚本调试
- pdb调试python脚本
- pdb调试python脚本
- Python脚本调试方法
- pdb调试Python脚本
- spark 上python启动脚本
- spark--python数据分析脚本
- 用GCC和C99的可变参数宏, 更方便地打印调试信息
- Python:脚本参数传递
- Android开发,AchartEngine使用
- 创建database
- 初识MongoDB
- 逆向推演:交互设计说明文档+信息架构
- Java并发编程:Callable、Future
- 方便调试spark参数的python脚本
- html的简化写法-haml和emmet的简单介绍
- jQuery实例之实现对表格内容的操作
- 个人博客开用啦
- X-Requested-With
- IOS中显示和隐藏状态栏的网络活动标志
- 解决华为荣耀6连接电脑时,找不到“USB连接方式”的问题
- Service的生命周期
- mac下使用github