关于spark history server 无法显示完成的JOB的问题解决

来源：互联网发布：疯狂的程序员绝影真人编辑：程序博客网时间：2024/05/19 09:47

该问题主要是由于访问HDFS的访问权限导致的，表现为配置的hdfs上的/user/spark/applicationHistory目录下面可以生成具体的application历史信息，但是history server ui上却无法显示，表示这个目录有写入权限没有读取权限，为什么有写入权限呢？因为我执行spark-submit的时候export HADOOP_USER_NAME=hdfs了，hdfs用户是分布式文件系统的超级用户，所以有写入权限，写入的文件的用户和组分别是hdfs和spark。然后我启动history server用的是系统的root用户启动的，所以root用户没有读取/user/spark/applicationHistory目录下面文件的权限。

所以正确方式为：

启动history server:
cd $SPARK_HOME
chown -R spark:spark logs
sudo -u spark SPARK_HISTORY_OPTS=-Dspark.history.ui.port=18088 sbin/start-history-server.sh hdfs://n1:8020/user/spark/applicationHistory
停止history server:
sudo -u spark sbin/stop-history-server.sh

1 0