Linux下 按日期时段 分析日志 shell

 

不得不服中国移动客户的严谨。在配置Weblogic集群中我们系统与N个第三方系统交互的线程队列的大小时，他们要我们跟据现网日志分析各系统的请求压力，而且要拿出各种统计数据，然后根据这样统计数据来决点各线程池的大小。俺们系统日志，N多种，一天产生的量基本都是几十万级的，加起来过千万。所以，写这个Shell方便分析，觉得这个Shell还算通用，所以发布上来，希户能给后来者也带来方便。

这个Shell是用来统计某日志文件中，特定日期，一天24小时所接受的请求数量的。

它同时接收三个参数（当然，你也可以HardCode）：

第一个参数：日志文件名

第二个参数：特定日期（可以有多个，日期之间以空格隔开）

第三个参数：关键字（也可以有多个，关键字之间以空格隔开）

 

比如，要以Login与ServiceID为关键字，统计biz.log中2008-03-06与2008-03-08各时段接受的请求数量，可执行：

sh analyse.sh "biz.log" "2008-03-06 2008-03-08" "Login ServiceID"

 

analyse.sh：

pfile=$1;
pdates=$2;
pkeywds=$3;
keywd="";
method_count()
{
   echo "Begin method method_count!"$keywd;
   hs="00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23";
    for dt in $pdates;
    do
     for h in $hs;
     do
       tt=$dt"."$h;
       kk=$tt"{1,}.*"$keywd;
       echo $dt"日"$h"时的请求数：";
       # echo $kk;
       #cat $pfile|grep $dt"."$h|grep $keywd|wc -l;
       grep $kk $pfile|wc -l;
     done;
    done;
   echo "End method method_count!";
}
for k in $pkeywds;
do
#  if [ -n "$keywd" ];
#  then 
#     echo JJJJJ $keywd;
#     keywd=$keywd"|";
#  fi
  keywd=$keywd$k"{1,}.*";
done;
method_count;

 注意：上面Shell中的“}”与“{”请分别改为“/}”、“/{”。我代码中的"/"转义符，让CSDN系统去掉了。毫无疑问，这是CSDN的一个BUG。

执行结果：

Begin method method_count!Login/{1,/}.*ServiceID/{1,/}.*
2008-03-06ÈÕ00ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ01ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ02ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ03ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ04ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ05ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ06ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ07ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ08ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ09ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ10ʱµÄÇëÇóÊý£º
      1
2008-03-06ÈÕ11ʱµÄÇëÇóÊý£º
      2
2008-03-06ÈÕ12ʱµÄÇëÇóÊý£º
      1
2008-03-06ÈÕ13ʱµÄÇëÇóÊý£º
      1
2008-03-06ÈÕ14ʱµÄÇëÇóÊý£º
      1
2008-03-06ÈÕ15ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ16ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ17ʱµÄÇëÇóÊý£º
    280
2008-03-06ÈÕ18ʱµÄÇëÇóÊý£º
      1
2008-03-06ÈÕ19ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ20ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ21ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ22ʱµÄÇëÇóÊý£º
      0
2008-03-06ÈÕ23ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ00ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ01ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ02ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ03ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ04ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ05ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ06ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ07ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ08ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ09ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ10ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ11ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ12ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ13ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ14ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ15ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ16ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ17ʱµÄÇëÇóÊý£º
      3
2008-03-08ÈÕ18ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ19ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ20ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ21ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ22ʱµÄÇëÇóÊý£º
      0
2008-03-08ÈÕ23ʱµÄÇëÇóÊý£º
      0
End method method_count!

后一次完善:

在原来三个参数的基础上增为四个参数：

第一个参数：日志文件名

第二个参数：特定日期（可以有多个，日期之间以空格隔开）

第三个参数：关键字（也可以有多个，关键字之间以空格隔开）

第四个参数：目录的路径（注意不能以“/”结束，如“/home”不能写成“/home/”。如果不填此参数，则默认为当前目录）

 

如/home目录下有日志文件biz.log.2008-03-06-03.bak、biz.log.2008-03-06-01.bak、biz.log.2008-03-06-02.bak，

要以Login ServiceID为关键字查看这些文件中2008-03-06与2008-03-08各时段接受的请求数量，可执行：

sh analyse3.sh "biz.log.2008-03-06" "2008-03-06 2008-03-08" "Login ServiceID" "/home"

 

建议用另一个Shell来引用此Shell,并输出到后台文件中，这样可以达到达到批处理的目的

analyse3.sh

pfile=$1;
pdates=$2;
pkeywds=$3;
ppath=$4;
keywd="";
tempf="_temp_all.log";
method_count()
{
   hs="00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23";
    for dt in $pdates;
    do
     for h in $hs;
     do
      tt=$dt"."$h;
      kk=$tt"{1,}.*"$keywd;
      echo $pfile $dt"日"$h"时的请求数：";
      grep $kk $tempf|wc -l;
     done;
    done;
}

method_createtempfile()
{
   mf="";
   for ff in $ppath/*;
   do
     if [ -f $ff ];
     then
       case $ff in *$pfile*)
           mf=$mf" "$ff;
       esac
     fi   
   done;
   cat $mf > $tempf;
}

for k in $pkeywds;
do
  keywd=$keywd$k"{1,}.*";
done;

if [ -z $ppath ];
then
  ppath=".";
fi
echo begin analyse! keyword is $keywd 
method_createtempfile;
method_count;
rm $tempf;
echo end analyse!