企业级Hadoop 2.x入门系列之十MapReduce 程序相关日志
来源:互联网 发布:开源php cms 微信 编辑:程序博客网 时间:2024/05/20 23:06
MapReduce 程序相关日志
u MapReduce 程序日志分为历史作业日志和Container日志。
u 历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业运行了多少个作业等很有用的信息。
u Container日志包含ApplicationMaster 日志和普通Task日志等信息,默认情况下,日志存放在${HADOOP_HOME}/logs/userlogs目录下。
1、历史作业配置
<!-- MapReduce Applicaiton Master 运行的数据目录 -->
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>/tmp/hadoop-yarn/staging</value>
<description>Thestaging dir used while submitting jobs.
</description>
</property>
<!-- 历史作业日志记录,存储在HDFS上的路径 -->
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
</property>
2、container日志目录配置
<!-- container 日志目录 -->
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>${yarn.log.dir}/userlogs</value>
</property>
- 企业级Hadoop 2.x入门系列之十MapReduce 程序相关日志
- 企业级Hadoop 2.x入门系列之十一MapReduce Uber 模式
- hadoop入门-Mapreduce程序相关日志
- 企业级Hadoop 2.x入门系列之三将Hadoop 2.x源码导入Eclipse中
- 企业级Hadoop 2.x入门系列之二Hadoop 2.2.0源码编译
- 企业级Hadoop 2.x入门系列之九Hadoop核心配置文件的默认配置解读
- 企业级Hadoop 2.x入门系列之十二入门视频分享
- 企业级Hadoop 2.x入门系列之四HDFS文件系统和YARN资源管理框架简介
- 企业级Hadoop 2.x入门系列之五Hadoop2.2 伪分布式安装
- 企业级Hadoop 2.x入门系列之六HDFS的Shell操作与管理
- 企业级Hadoop 2.x入门系列之七YARN的Shell操作与管理
- 企业级Hadoop 2.x入门系列之八HDFS和YARN的启动方式
- 企业级Hadoop 2.x入门系列之一Apache Hadoop 2.x简介与版本
- Hadoop入门之MapReduce
- 【Hadoop入门学习系列之五】MapReduce 2.0编程实战
- hadoop学习系列1之第一个MAPREDUCE程序
- Hadoop之Mapreduce------>入门级程序WordCount原理
- Hadoop之Mapreduce------>入门级程序WordCount代码编写
- Mysql-05-02_Insert,update,delete详解
- 类型编码(Type Encodings)
- IBM Synapse
- 企业级Hadoop 2.x入门系列之九Hadoop核心配置文件的默认配置解读
- Win下Eclipse提交Hadoop程序出错:org.apache.hadoop.security.AccessControlException: Permission denied: user=D
- 企业级Hadoop 2.x入门系列之十MapReduce 程序相关日志
- 运行时版本与平台(Runtime Versions and Platforms)
- Collection集合分析
- OC隐藏和封装-合成存取方法二(重要)
- ECShop V2.7.3管理员密码加密方式
- 企业级Hadoop 2.x入门系列之十一MapReduce Uber 模式
- struts2中超链接到另一个action
- c# 菜单设置快捷键
- 01-1. 最大子列和问题(20)