cdh spark history无法查看历史数据

来源:互联网 发布:linux pkg config 编辑:程序博客网 时间:2024/06/05 20:33

问题:新装cdh5.9,使用新建的hadoop用户运行spark没有问题,但是查看spark history的时候发现无法查看


但是发现文件是存在的:


如图可见:发现系统默认是用spark用户运行的,使用hadoop fs -chown -r spark:spark  后历史文件可以查看,但是hadoop用户新执行的任务都是hadoop:hadoop仍然不可以查看。故怀疑是执行的用户造成的问题。


找到系统用户,修改spark用户为hadoop,另外问题是需要你在各台机器上都要创建hadoop用户,问题解决。