awstats tomcat linux

首先：常使用web服务器的朋友大都了解，一般的web server有两部分日志：

一是运行中的日志，它主要记录运行的一些信息，尤其是一些异常错误日志信息
二是访问日志信息，它记录的访问的时间，IP，访问的资料等相关信息。

我们要统计的便是访问日志数据。

下面是具体的搭建步骤：

1,下载awstats和perl（windows环境下，linux自带的perl环境）环境：

2,linux的工作目录在/home/tomcat，将tomcat6复制到工作目录下，将awstats复制到tomcat6的webapps下，在awstats目录下建立一个WEB-INF目录，将awstats包里的docs、tools、wwwroot下的classes、js、css、icon等目录（除了cgi-bin目录）下的内容拷贝到tomcat6下的awstats目录下，

将cgi-bin目录及其内容拷贝到WEB-INF目录下，在WEB-INF中建立一个web.xml文件，

awstats的目录结构为:

   awstats

       classes

       css

       docs

       icon

       js

       tools

       WEB-INF

           cgi-bin

           web.xml

           

3，将WEB-INF中的web.xml中的内容修改为：

<?xml version="1.0" encoding="ISO-8859-1"?>

<web-app xmlns="http://java.sun.com/xml/ns/j2ee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://java.sun.com/xml/ns/j2ee http://java.sun.com/xml/ns/j2ee/web-app_2_4.xsd"

version="2.4">

<servlet>

<servlet-name>cgi</servlet-name>

<servlet-class>org.apache.catalina.servlets.CGIServlet</servlet-class>

<init-param>

<param-name>debug</param-name>

<param-value>0</param-value>

</init-param>

<init-param>

<param-name>cgiPathPrefix</param-name>

<param-value>WEB-INF/cgi-bin</param-value>

</init-param>

<load-on-startup>5</load-on-startup>

</servlet>

<servlet-mapping>

<servlet-name>cgi</servlet-name>

<url-pattern>/cgi-bin/*</url-pattern>

</servlet-mapping>

<welcome-file-list>

<welcome-file>index.html</welcome-file>

<welcome-file>

index.htm</welcome-file>

<welcome-file>index.jsp</welcome-file>

</welcome-file-list>

</web-app>  

4,修改tomcat的server.xml，配置tomcat访问日志数据，默认情况下tomcat的访问日志没有打开，配置的方式如下：

编辑 ${catalina}/conf/server.xml文件.注:${catalina}是tomcat的安装目录

将注释：<!--<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"

               prefix="localhost_access_log." suffix=".log" pattern="combined" fileDateFormat="yyyy-MM-dd"  resolveHosts="false"/>-->

打开，将内容修改为：<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs" 

               prefix="localhost." suffix=".log" pattern="combined" fileDateFormat="yyyy-MM-dd"  resolveHosts="false"/> 

其中 directory是产生的目录 tomcat安装${catalina}作为当前目录。

5，放开tomcat的cgi权限，在tomcat的context.xml的内容修改为：

<Context privileged="true"> 

    <!-- Default set of monitored resources --> 

    <WatchedResource>WEB-INF/web.xml</WatchedResource> 

    <!-- Uncomment this to disable session persistence across Tomcat restarts --> 

    <!-- 

    <Manager pathname="" /> 

    --> 

    <!-- Uncomment this to enable Comet connection tacking (provides events 

         on session expiration as well as webapp lifecycle) --> 

    <!-- 

    <Valve className="org.apache.catalina.valves.CometConnectionManagerValve" /> 

    --> 

</Context> 

6，修改/home/tomcat/tomcat6/webapps/awstats/WEB-INF/cgi-bin/awstats.model.conf的名称为

awstats.www.seegoo.com.conf(cp awstats.model.conf awstats.www.seegoo.com.conf)，即awstats.${mydomain}.conf 这种形式。

   修改文件awstats.www.seegoo.com.conf的内容，将LogFile修改为/home/tomcat/tomcat6/logs/localhost.%YYYY-0-%MM-0-%DD-0.log（即tomcat访问日志存放的目录）；（如果想在当前统计前一天的数据，则配置成/home/tomcat/tomcat6/logs/localhost.%YYYY-24-%MM-24-%DD-24.log

7,在/home/tomcat/tomcat6/webapps/awstats/WEB-INF/cgi-bin中建立一个目录data，

设置awstats.www.seegoo.com.conf的文件的

拷贝并改名 awstats/wwwroor/cgi-bin 目录到 你的 /WEB-INF/cgi 目录

编辑awstats.${mydomain}.conf 配置文件，配置以下几项：

LogFile="E:/Tomcat/logs/localhost_access_log.%YYYY-%MM-%DD.log"

SiteDomain="${mydomain}"

HostAliases="${mydomain} www.${mydomain} 127.0.0.1 localhost"

DefaultFile="index.jsp"

LogType = W     //指定了分析的是web日志文件

DirData="data"   //指定了存放分析结果文件的目录，根据配置文件的配置，在/WEB-INF/cgi目录建立一个空文件夹data存放分析后的数据。

DirData为./data

8，多日志合并分析(例：新浪播客其中两台服务器2月6日的日志30.0206.vblog.log与31.0206.vblog.log)

LogFile="/opt/awstats/tools/logresolvemerge.pl /var/apachelogs/30.0206.vblog.log /var/apachelogs/31.0206.vblog.log|"
或
LogFile="/opt/awstats/tools/logresolvemerge.pl /var/apachelogs/*.0206.vblog.log|"

9，访问：http://192.168.5.8:8080/awstats/cgi-bin/awstats.pl?config=www.seegoo.com 

10，awstats分析多个日志，有时候，如果有多个主机生成的日志文件，需要合并处理的话，我是这样处理的：

写一个调度：30 3 * * * sh /home/tomcat/shell/merge.sh，每天凌晨三点，合并前一天所有的主机传过来的日志。

 #!/bin/sh
year_month=`date -d yesterday "+%Y-%m-%d"`
echo $year_month
LOGDIR17=/home/tomcat/account/log17/
LOGDIR18=/home/tomcat/account/log18/
LOGDIR=/home/tomcat/account/logs/
prefix='localhost_access_log.'
suffix='.log'
fileName17=$LOGDIR17$prefix$year_month$suffix
echo $fileName17
fileName18=$LOGDIR18$prefix$year_month$suffix
echo $fileName18
filesName=$LOGDIR$prefix$year_month$suffix
echo $filesName
sort -m -t " " -k 4 -o $filesName $fileName17 $fileName18
echo "end..."

然后加上两个调度：

0 5 * * * sh /home/tomcat/shell/awstat.sh
30 4 * * * sh /home/tomcat/shell/awstat_day.sh

进行正常的日志分析即可。

11）awstats 如何统计以前的日志？

awstats.pl 脚本支持在命令行指定logfile，这样简单了，改变这个参数就可以了。不过要注意的是，如果你的data里面已经处理新的日志，那么指定logfile也没用了，以前的没办法更新进来了。只能是删掉data里面的内容，然后重新从最早的开始生成一遍。我写了一个脚本来做这个事情。

按照月份：

#!/bin/bash
awstats_dir=/home/tomcat/tomcat6/webapps/awstats/WEB-INF/cgi-bin
logfile_dir="/home/tomcat/account/logs"
cd $awstats_dir
for file in `find $logfile_dir -name "localhost_access_log.2012-05-*" | sort`;do
        #echo "$file"
        ./awstats.pl -update -config=seegooReport -LogFile=$file
done

按照天生成：

#!/bin/bash
awstats_dir=/home/tomcat/tomcat6/webapps/awstats/WEB-INF/cgi-bin
logfile_dir="/home/tomcat/account/logs"
cd $awstats_dir
for file in `find $logfile_dir -name "localhost_access_log.2012-05-*" | sort`;do
        #echo "$file"
        ./awstats.pl -update -config=seegooReport -LogFile=$file -databasebreak=day
done

生成以前的按月的分析日志：

#!/bin/bash
awstats_dir=/home/tomcat/tomcat6/webapps/awstats/WEB-INF/cgi-bin
logfile_dir="/home/tomcat/account/logs"
cd $awstats_dir
for file in `find $logfile_dir -name "localhost_access_log.$1-*" | sort`;do#$1为调用shell脚本的年-月参数
        #echo "$file"

        ./awstats.pl -update -config=seegooReport -LogFile=$file
done 

生成以前的按天进行统计的分析日志：

 

 #!/bin/bash
awstats_dir=/home/tomcat/tomcat6/webapps/awstats_day/WEB-INF/cgi-bin
logfile_dir="/home/tomcat/account/logs"
cd $awstats_dir
for file in `find $logfile_dir -name "localhost_access_log.$1-*" | sort`;do
        #echo "$file"
        ./awstats.pl -update -config=seegooReport -LogFile=$file -databasebreak=day
done

 假如脚本运行正常，出现：
Create/Update database for config "./awstats.seegooReport.conf" by AWStats version 7.0 (build 1.971)
From data in log file "/opt/tomcat/logs/localhost_access_log.2013-01-17.log"...
Phase 1 : First bypass old records, searching new record...
Direct access to last remembered record is out of file.
So searching it from beginning of log file...
Phase 2 : Now process new records (Flush history on disk after 20000 hosts)...
Jumped lines in file: 0
Parsed lines in file: 316
 Found 0 dropped records,
 Found 0 comments,
 Found 0 blank records,
 Found 0 corrupted records,
 Found 249 old records,
 Found 67 new qualified records.
而通过浏览器访问，要生成的访问数据仍然没有生成，那么应该删除webapps/awstats/WEB-INF/cgi-bin/data/awstats012013.seegooReport.txt文件中的
LastLine 20130117154428 316 97118 20376852288363
FirstTime 20130101090526
LastTime 20130117154425
几个参数，就可以了。（事实上，我是直接将整个awstats012013.seegooReport.txt文件都删除了，所有的数据重新用脚本生成一遍。）

注：tomcat日志格式如下： %h %l %u %t "%r" %s %b %T 

其中：

* %h 访问的用户IP地址
* %l 访问逻辑用户名，通常返回'-'
* %u 访问验证用户名，通常返回'-'
* %t 访问日时
* %r 访问的方式(post或者是get)，访问的资源和使用的http协议版本
* %s 访问返回的http状态
* %b 访问资源返回的流量
* %T 访问所使用的时间

%...a: 远程IP地址

%...A: 本地IP地址

%...B: 已发送的字节数，不包含HTTP头

%...b: CLF格式的已发送字节数量，不包含HTTP头。

例如当没有发送数据时，写入‘-’而不是0。

%e: 环境变量FOOBAR的内容

%...f: 文件名字

%...h: 远程主机

%...H 请求的协议

%i: Foobar的内容，发送给服务器的请求的标头行。

%...l: 远程登录名字（来自identd，如提供的话）

%...m 请求的方法

%n: 来自另外一个模块的注解“Foobar”的内容

%o: Foobar的内容，应答的标头行

%...p: 服务器响应请求时使用的端口

%...P: 响应请求的子进程ID。

%...q 查询字符串（如果存在查询字符串，则包含“?”后面的

部分；否则，它是一个空字符串。）

%...r: 请求的第一行

%...s: 状态。对于进行内部重定向的请求，这是指*原来*请求

的状态。如果用%...>s，则是指后来的请求。

%...t: 以公共日志时间格式表示的时间（或称为标准英文格式）

%t: 以指定格式format表示的时间

%...T: 为响应请求而耗费的时间，以秒计

%...u: 远程用户（来自auth；如果返回状态（%s）是401则可能是伪造的）

%...U: 用户所请求的URL路径

%...v: 响应请求的服务器的ServerName

%...V: 依照UseCanonicalName设置得到的服务器名字