hadoop 学习总结系列 (二 ) 查看日志
来源:互联网 发布:淘宝童鞋女孩冬季筒靴 编辑:程序博客网 时间:2024/06/11 12:28
如何用CLI 查看日志
yarn logs -applicationId ${application_Id}可以用来查看log,当且仅当 appliation 已经执行完毕,且 yarn.log-aggregation-enable =true (默认为false)
当开启上述聚合标志后, 那么yarn又是怎么操作的呢?这其中的流程是怎么样的呢?
流程如下:
1. 执行具体程序的container 把 stdout stderr 输出到本地文件系统, 由参数yarn.nodemanager.log-dirs
定义
2. 当 application 执行完毕后,如果 yarn.log-aggregation-enable=true
则把本地log文件拷贝到
HDFS 中
3. HDFS 文件位置由 参数 yarn.nodemanager.remote-app-log-dir
和 yarn.nodemanager.remote-app-log-dir-suffix
决定。
阅读全文
0 0
- hadoop 学习总结系列 (二 ) 查看日志
- hadoop 学习总结系列 (一)
- hadoop学习-海量日志分析(二) HBase
- Hadoop学习日志二之数据仓库
- AngularJS学习总结系列(二)
- 查看Hadoop日志
- Hadoop系列二:启动HDFS和YARN过程日志
- Hadoop学习(二)
- 《Hadoop学习笔记系列》二.Hadoop分布式文件系统 HDFS
- Hadoop日志类型总结
- Hadoop学习笔记—20.网站日志分析项目案例(二)数据清洗
- Hadoop学习笔记—20.网站日志分析项目案例(二)数据清洗
- Hadoop学习笔记—20.网站日志分析项目案例(二)数据清洗
- Hadoop学习笔记—20.网站日志分析项目案例(二)数据清洗
- Hadoop学习笔记—20.网站日志分析项目案例(二)数据清洗
- face alignment by 3000 fps系列学习总结(二)
- Linux查看日志总结
- Hadoop系列-集群安装配置(二)
- python的requests类库(一)requests库和urllib包对比:一个简单get请求
- 双向数据传递
- 欢迎使用CSDN-markdown编辑器
- 矩阵分析内容总览
- 监管方也 Hold 不住了,七张图看清 AI 入侵华尔街趋势
- hadoop 学习总结系列 (二 ) 查看日志
- c#常用集合类使用练习(队列Queue、栈Stack、哈希表Hashtable和动态数组ArrayList)(1):
- MySQL数据类型的最优选择
- 穷爸爸、富爸爸的理财核心:财产性收入的龙门一跃
- Java高并发秒杀API之高并发优化(四)
- POJ3254 状压DP模板
- Java
- AtCoder Grand Contest 001 F permutation
- Input值改变触发的事件