方便调试spark参数的python脚本

来源:互联网 发布:淘宝上的卫生巾能买吗 编辑:程序博客网 时间:2024/05/21 16:57
# encoding:utf-8__author__ = 'jwang'import oscmd_list = []spark_submit = '/usr/local/datacenter/spark/bin/spark-submit'cmd_list.append(spark_submit)cmd_list.append('--class')cmd_list.append('com.xx.xx.RBK')cmd_list.append('--master')cmd_list.append('yarn')cmd_list.append('--name')cmd_list.append('XXRBK')cmd_list.append('--executor-memory')cmd_list.append('3g')cmd_list.append('--driver-memory')cmd_list.append('3g')cmd_list.append('--executor-cores')cmd_list.append('16')cmd_list.append('xxxx.jar')params = []params.append('xx')params.append('rule')cmd_list.extend(params)exec_cmd = ' '.join(cmd_list)#''print 'start to execute ::: ' + exec_cmdos.system(exec_cmd)os._exit(0)
 
0 0