Spark History Server配置使用

spark，hadoop交流群，QQ群号：521066396，欢迎加入共同学习，一起进步~

1、Spark History Server的作用
在运行Spark应用程序的时候，driver会提供一个webUI用于展现应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口。也就是说，这个服务是伴随Spark应用程序的运行周期的，也就是当应用程序运行完成后，将无法查看应用程序的历史记录。Spark History Server就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Spark history server可以将这些运行信息装载并以web的方式供用户浏览
伴随Spark应用程序而启动的web查看服务的默认端口号是4040，或者4041(如果当前端口被占用，比如4040被占用，那么Spark会抛一个异常，但是不影响应用继续运行，driver会使用这个已用的端口加1，以此类推)
2、配置&使用Spark History Server
（1）修改yarn-site.xml（需要重启所有NodeManager生效）

<property>     <name>yarn.log-aggregation-enable</name>     <value>true</value></property>

用命令查看日志
bin/yarn logs –applicationId application_xxxx_xxx（只能查看运行完之后的作业日志）
（2）修改yarn-site.xml（需要重启所有NodeManager生效）

<property>      <name>yarn.log.server.url</name>      <value>http://scbnode1:19888/jobhistory/logs</value></property>

（3）修改conf/spark-default.conf（下面的目录/tmp/spark/events事先在HDFS创建好）

spark.yarn.historyServer.address= scbnode1:18080spark.history.ui.port=18080spark.eventLog.enabled=truespark.eventLog.dir=hdfs://scbnode1:9000/tmp/spark/eventsspark.history.fs.logDirectory=hdfs://scbnode1:9000/tmp/spark/events

（4）启动Spark History Server

sbin/start-history-server.sh

（5）Spark History Server地址

http://scbnode1:18080/