spark scala 数据处理程序

1、kill任务

        hadoop job-kill (job_num)

        yarn application -kill (application_num)

2、提交任务

样例如下：

        $SUBMIT--class $APP \

        --masteryarn \

        --driver-memory1G \

         --executor-memory 6G \

         --num-executors 10 \

        --executor-cores4 \

        --confspark.default.parallelism=160 \

        --confspark.storage.memoryFraction=0.5 \

        --confspark.shuffle.memoryFraction=0.4 \

        --name"AgetopGenerate Shuguang" \

        $JAR $CONF

 

其中，SUBMIT为spark的spark-submit 程序，如：/data0/spark/spark-2.0.0-bin/bin/spark-submit；APP为jar包的主函数（类）体名，如com.abc.exazmple;JAR为打包的程序位置，CONF为命令行参数。 

3、关于2的配置说明

该参数主要针对在集群上启动spark服务的参数说明，其中参数众多，只以2列出的参数部分作说明，因为2中基本上涵盖了一个服务所需的主要参数。