spark内存参数的理解

SPARK_DAEMON_MEMORY：分配给spark master/worker守护进程的内存（默认1g）
SPARK_DRIVER_MEMORY: driver进程使用的内存数;使用spark-submmit提交作业后,该作业会启动一个相应的driver进程。由于部署模式（deploy-mode）不同，Driver进程可能在本地启动也可能在某个工作节点启动,driver进程本身会会占有一定数量的内存和cpu core
SPARK_WORKER_MEMORY: 允许spark 应用使用的单节点总内存数 (default: total memory minus 1 GB)
SPARK_WORKER_CORES： 允许spark 应用使用的单节点核数 (default: all available cores).
SPARK_EXECUTOR_MEMORY : spark应用的executor内存参数,由单个应用自行配置,参数值最终会被设置到Executor的JVM的heap尺寸上，对应的就是Xmx和Xms的值
SPARK_EXECUTOR_CORES : spark应用的executor内核参数,由单个应用自行配置。