spark 进程

History Server 上有一个相关进程，启动用户是spark，父进程是cloudera-scm-agent。
提交spark程序的机器有一个进程，启动用户是提交程序的用户，这里是hdfs，父进程是1，系统内核进程。线程可以直接看到SparkSubmit相关信息。
Executor(Streaming任务) 进程的启动过程：(yarn-cluster模式的Driver 也是同样过程。)
1.由NodeManager启动一个shell(进程A)，
EX：/yarn/dn1/nm/usercache/hdfs/appcache/application_1502296715314_0004/container_e01_1502296715314_0004_01_000008/default_container_executor.sh
2.由进程A  /bin/bash -c 。。。。。 启动进程B,该进程是非java进程。
(可以守护进程C，进程C挂了或者任务执行完成等待时间长的时候再拉起？ 所以该线程保留这拉起进程C的参数)
3.由进程B 启动进程C  CoarseGrainedExecutorBackend
4.spark streaming中会使用akka.actor.default
Spark jobs  UI 由ResourceManager 提供。
ps -ef | grep spark   这个会把flume进程也搜出来，因为flume也依赖了spark相关包。