SPARK-SUBMIT命令

1. 并发64，运行基于APACHE-BEAM开发的程序

spark-submit --total-executor-cores 64  --executor-cores 8  --executor-memory 20g  --class test.ktrTest beam-data-integration-V2.0.0.jar  ktrpath=/opt/ZDH/parcels/lib/spark/test_spark1.ktr  --runner=SparkRunner

executor-memory
参数说明：该参数用于设置每个Executor进程的内存。Executor内存的大小，很多时候直接决定了Spark作业的性能，而且跟常见的JVM OOM异常，也有直接的关联。
参数调优建议：每个Executor进程的内存设置4G~8G较为合适。但是这只是一个参考值，具体的设置还是得根据不同部门的资源队列来定。可以看看自己团队的资源队列的最大内存限制是多少，num-executors乘以executor-memory，就代表了你的Spark作业申请到的总内存量（也就是所有Executor进程的内存总和），这个量是不能超过队列的最大内存量的。此外，如果你是跟团队里其他人共享这个资源队列，那么申请的总内存量最好不要超过资源队列最大总内存的1/3~1/2，避免你自己的Spark作业占用了队列所有的资源，导致别的同学的作业无法运行。


executor-cores
参数说明：该参数用于设置每个Executor进程的CPU core数量。这个参数决定了每个Executor进程并行执行task线程的能力。因为每个CPU core同一时间只能执行一个task线程，因此每个Executor进程的CPU core数量越多，越能够快速地执行完分配给自己的所有task线程。
参数调优建议：Executor的CPU core数量设置为2~4个较为合适。同样得根据不同部门的资源队列来定，可以看看自己的资源队列的最大CPU core限制是多少，再依据设置的Executor数量，来决定每个Executor进程可以分配到几个CPU core。同样建议，如果是跟他人共享这个队列，那么num-executors * executor-cores不要超过队列总CPU core的1/3~1/2左右比较合适，也是避免影响其他同学的作业运行。

2.

spark-submit --total-executor-cores 24  --executor-cores 4  --conf spark.default.parallelism=240  --class test.ktrTest  beam-data-integration-V2.0.0.jar  ktrpath=incrementCompare1.ktr  --runner=SparkRunner

作业读取HDFS文件，设置文件的分片数spark.default.parallelism，一般HDFS文件128MB是一块，一块分一片

3. 调试端口5006

spark-submit --class ipeghbase.BeamTest --master spark://10.42.120.88:7077  --executor-memory 24g --driver-java-options='-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5006'  --total-executor-cores 12 --executor-cores 4 jars/test1.jar --runner=SparkRunner
spark-submit --class BeamTest --master spark://10.42.120.88:7077  --executor-memory 24g  --conf spark.default.parallelism=20   --total-executor-cores 12 --executor-cores 4 jars/test1.jar --runner=SparkRunner