hadoop 日志及历史服务器

来源：互联网发布：python proxyfix 编辑：程序博客网时间：2024/05/19 03:25

hadoop 日志及历史服务器

hadoop日志

Hadoop日志存放在 $HADOOP_HOME/logs 目录下

这里写图片描述

日志文件的命名规范        框架名-用户名-进程名-主机名-日志格式后缀

MapReduce 自带历史服务器JobHistory Server配置

配置 mapred-site.xml 文件

    <property>        <name>mapreduce.jobhistory.address</name>        <value>0.0.0.0:10020</value>    </property>    <property>        <name>mapreduce.jobhistory.webapp.address</name>        <value>0.0.0.0:19888</value>    </property>

启动历史服务器

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

另需要在 yarn-site.xml 配置日志聚集

    <property>        <name>yarn.log-aggregation-enable</name>        <value>true</value>    </property>    <property>        <name>yarn.log-aggregation.retain-seconds</name>        <value>86400</value>    </property>

阅读全文

0 0