hadoop webUI上不能查看log日志输出信息

来源:互联网 发布:淘宝店铺宣传团队抽成 编辑:程序博客网 时间:2024/06/06 16:35

hadoop webUI上不能查看log日志输出信息

本文由longfeizhou编写,转载请注明出处

  • 问题
  • 原因
  • 报错
  • 解决办法

问题

hadoop webUI上查看任务运行输出日志,任务运行中可以正常查看,但当任务完成后却无法查看日志输出

报错

java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn’t belong to this node at all.

原因

疑似原因:程序运行完成之后,日志被转入历史日志服务器中,而历史服务器没有开启

解决方案

1.检查yarn-stie.xml配置中日志输出是否启用

项目 属性 yarn.log-aggregation-enable true yarn.log.server.url http://bigdata:19888/jobhistory/logs/

2.检查 mapred-site.xml 配置中历史服务器配置

项目 属性 mapreduce.jobhisotry.address bigdata:10020 mapreduce.jobhistory.webapp.address bigdata:19888

3.启功历史服务器
sbin/mr-jobhistory-daemon.sh start jobhistoryserver
再次查看webUI中的程序运行日志,一切回归正常!
这里写图片描述

本文部分资料参考http://m.blog.csdn.net/article/details?id=50338073博客

0 0
原创粉丝点击