hadoop 学习总结系列 (二 ) 查看日志

来源:互联网 发布:淘宝童鞋女孩冬季筒靴 编辑:程序博客网 时间:2024/06/11 12:28

如何用CLI 查看日志

yarn  logs -applicationId  ${application_Id}可以用来查看log,当且仅当 appliation 已经执行完毕,且 yarn.log-aggregation-enable =true (默认为false

当开启上述聚合标志后, 那么yarn又是怎么操作的呢?这其中的流程是怎么样的呢?

流程如下:
1. 执行具体程序的container 把 stdout stderr 输出到本地文件系统, 由参数yarn.nodemanager.log-dirs 定义
2. 当 application 执行完毕后,如果 yarn.log-aggregation-enable=true 则把本地log文件拷贝到
HDFS 中
3. HDFS 文件位置由 参数 yarn.nodemanager.remote-app-log-diryarn.nodemanager.remote-app-log-dir-suffix 决定。

阅读全文
0 0