hadoop mapreduce 程序调试日志合并查看shell

上一篇文章介绍了如何在web中查看日志并且进行调试。现在介绍一种通过shell方式进行处理调试信息。

本文阅读前提：

1、已经读完上一篇文章（http://blog.csdn.net/wild46cat/article/details/53641765），在本文中对重复的设置和运行不做说明。

好，下面上货。

首先是shell

#!/bin/bash#the application dir application_1481720192563_0001param=$1#local dir store stderr stdout and sysloglocallogdir='/home/user/xyshell/log/'stderrfile=$locallogdir'stderr'stdoutfile=$locallogdir'stdout'syslogfile=$locallogdir'syslog'syslogshuffle=$locallogdir'syslogshuffle'#yarnlog dir which is set in yarn-site.xmlyarnlogpath='/home/hadoop/yarn/log/'applicationname=$yarnlogpath$paramiparray=(host1 host2 host3)  user='user'cmd="scp -r $applicationname $user@host1:$locallogdir"echo $applicationnameecho $cmdecho `date` > $stderrfileecho `date` > $stdoutfileecho `date` > $syslogfileecho `date` > $syslogshufflefor ip in ${iparray[*]}  do  echo "=========$ip==========="# copy from host1 host2 host3#echo "$cmd"       ssh -t $user@$ip '\'$cmd'\'  echo "=========$ip==========="        echo  done  if [ -d $locallogdir$param ]thencd $locallogdir$paramsubdirarray=`ls | sort`for x in $subdirarraydocd $xcat stderr >> $stderrfile cat stdout >> $stdoutfile cat syslog >> $syslogfileif [ -f syslog.shuffle ]thencat syslog.shuffle >> $syslogshuffleficd ..donefi

下面是运行结果：

这样，在查看stdout就可以了。