cdh spark history无法查看历史数据
来源:互联网 发布:linux pkg config 编辑:程序博客网 时间:2024/06/05 20:33
问题:新装cdh5.9,使用新建的hadoop用户运行spark没有问题,但是查看spark history的时候发现无法查看
但是发现文件是存在的:
如图可见:发现系统默认是用spark用户运行的,使用hadoop fs -chown -r spark:spark 后历史文件可以查看,但是hadoop用户新执行的任务都是hadoop:hadoop仍然不可以查看。故怀疑是执行的用户造成的问题。
找到系统用户,修改spark用户为hadoop,另外问题是需要你在各台机器上都要创建hadoop用户,问题解决。
阅读全文
0 0
- cdh spark history无法查看历史数据
- spark 查看 job history 日志
- Spark 查看 job history 日志
- history log无法查看问题
- cdh 安装 spark 2.1
- Spark UI无法查看到slave节点
- cdh 运行spark yarn-cluster
- cdh 中 spark 配置 lzo
- CDH 里面配置spark-sql
- 配置Spark history server
- spark history server 配置
- spark history server学习
- Spark History Server配置
- Spark 配置History
- 关于spark history server 无法显示完成的JOB的问题解决
- CDH 维护日志,集群查看
- CDH启动和日志查看
- 查看CDH各组件版本
- java基础1
- 将linux下的rm命令改造成移动文件至回收站
- Android BroadcastReceiver(广播)
- Codeforces 820A Mister B and Book Reading
- AJax+Servlet 跨域问题 Access-Control-Allow-Origin
- cdh spark history无法查看历史数据
- Java类加载器及tomcat类加载器解析
- 如何在IntelliJ IDEA中使用.ignore插件忽略不必要提交的文件
- AndroidTTS离线文字转语音技术
- 【HTTP协议】-TCP/IP协议集与HTTP协议
- 数据属性和访问器属性
- 第 11 章 散列表
- 做好公司各部门数据报表支撑的几个简单思维
- 重拾博客