LogParser的IIS网站分析技巧
来源:互联网 发布:传感器数据融合实例 编辑:程序博客网 时间:2024/06/06 02:46
日志分析,特别是IIS日志,一般人都会想到LogParser工具,的确很强。但是命令行的操作界面令很多非专业的管理人员望而生畏,现在好了,有一个可视化的LogParser的UI工具可以使用了!
Log Parser Lizard 1.1,这是一款用Vc++.net写的logParser增强工具。主要有以下特点:
1、封装了logParser命令,带图形界面,大大降低了LogParser的使用难度。
2、集成了几个开源工具,如log4net等。可以对IIS logs\EventLogs\active directory\log4net\File Systems\T-SQL进行方便的查询。
3、集成了Infragistics.UltraChart.Core.v4.3、Infragistics.Excel.v4.3.dll等,使查询结果可以方便的以图表或EXCEL格式展示。
4、集成了常见的查询命令,范围包含六大模块:IIS
5、可以将查询过的命令保存下来,方便再次使用。
最重要的是,它是完全免费的。
下载地址为:http://www.brothersoft.com/log-parser-lizard-download-238815.html
需要先安装LogParser 2.2,下载地址:http://www.microsoft.com/DownLoads/details.aspx?FamilyID=890cd06b-abf8-4c25-91b2-f8d975cf8c07&displaylang=en
下载后4.9M的一个MSI文件,直接安装即可。注意安装位置尽量不要带空格。
注意:如果LogParser没有安装,会运行出错!
LogParser是微软的一个免费的日志分析工具,它支持许多格式的文件类型。主要有如下几类:
· IIS 文件格式
Ø IISW3C: IIS产生的W3C扩展格式
Ø IIS: IIS专有格式.
Ø BIN: IIS的BIN格式.
Ø IISODBC: IIS可以把日志存储在数据库中。LogParser可以分析存储在数据库中的IIS日志.
Ø HTTPERR: Http.sys日志格式.
Ø URLSCAN: URLScan 日志格式.
· 通用文本格式
Ø CSV: 逗号分隔符文件.
Ø TSV: 以空格或者以制表符分隔的文件.
Ø XML: XML格式.
Ø W3C: W3C格式.
Ø NCSA: NCSA格式.
Ø TEXTLINE: 普通文件文件. LogParser可以按行返回内容
Ø TEXTWORD: LogParser可以把按字返回内容.
· 系统信息
EVT: 事件日志文件.
FS: 文件目录.
REG: 注册表格式.
ADS: AD信息.
另外还有一些其它格式,如NetMon, ETW等,在此不详述了。
LogParser原理
LogParser架构如下图所示:
注:图片引自http://e-mojo.net/wp-content/uploads/2009/11/logparser_architecture.gif
LogParser的核心为类SQL引擎,主要用于LogParser的SQL解析。使用LogParser我们可以把日志文件转换为很多格式,然后,我们可以用自己顺手的工具对其进行分析。
需要注意的是,如果我们要输出图形格式,必须安装Office Web组件。
IIS高级日志分析
本文主要介绍一些高级IIS日志分析功能,基本的分析功能请参考这些BLOG:
http://hi.baidu.com/tpxc/blog/item/b6e4561060f2ecf9c2ce7931.html
http://www.cnblogs.com/yonglun/archive/2007/02/20/652929.html
每天用户访问数
logparser “SELECT To_Date(TO_LOCALTIME(TO_TIMESTAMP(date, time))) AS [Date1], c-ip AS CIP INTO IISHC_DistinctClientIPPerDay.csv FROM *.log GROUP BY [Date1], CIP” -i:IISW3C -o:CSV -recurse:-1
我们按日期进行汇总,主要是利用Group by 实现。由于IIS日志中时间为UTC格式,因此,我们需要使用To_Date(TO_LOCALTIME(TO_TIMESTAMP(date, time)))把其转换为本地时间。
recurse:-1参数使LogParser对子目录下所有文件进行统计。
本例中产生一个CSV文件,我们可以使用Excel进行处理,得出每天用户数曲线(当然,我们也可以直接用LogParser产生图形)。如下是一个例子:
每小时用户访问数
logparser “SELECT TO_LOCALTIME(QUANTIZE(TO_TIMESTAMP(date, time),3600)) AS Hours, COUNT(*) AS Hits INTO IISHC_RequestsPerHour.csv FROM *.log where To_Date(TO_LOCALTIME(TO_TIMESTAMP(date, time)))=TIMESTAMP(’10/08/2010′,’MM/dd/yyyy’ ) GROUP BY Hours ORDER BY Hours” -i:IISW3C -o:CSV -recurse:-1
主要用法与上例类似。不过我们需要指定日期。指定日期在where To_Date(TO_LOCALTIME(TO_TIMESTAMP(date, time)))=TIMESTAMP(’10/08/2010′,’MM/dd/yyyy’ )中实现。
拆分文件
缺省情况下,IIS每天产生一个日志文件。对于一些特别繁忙的网站来说,IIS日志文件可能会非常大。我曾经有一个客户,每个日志文件有2个G之多。这么大的文件用LogParser进行分析时会非常慢,同时也很容易报错。
解决办法是把日志文件进行拆分成许多小文件分别进行分析。如下命令可以把一个IIS日志按小时分成24个文件:
logparser “SELECT REPLACE_CHR(REPLACE_CHR(TO_STRING(TO_LOCALTIME(QUANTIZE(TO_TIMESTAMP(date, time), 3600)), ‘yyyy-MM-dd hh:mm:ss’), ‘:’, ‘_’), ‘ ‘, ‘_’), date, time, c-ip, cs-uri-stem, cs-uri-query, sc-status, sc-substatus, sc-win32-status, sc-bytes, cs-bytes, time-taken FROM ex080114.log TO ex080114_*.log” -i:IISW3C -o:W3C
这里边的技巧请大家自己去理解J 怎么样?
http://www.mikel.cn/tag/logparser/
- LogParser的IIS网站分析技巧
- 使用LogParser分析IIS网站日志
- 用LogParser对IIS 日志进行分析
- 使用LogParser分析网站运行情况(比较简单)
- 一个强大的LogParser的UI工具--日志分析工具
- 一个强大的LogParser的UI工具--日志分析工具
- 用LogParser分析Windows日志
- 网站运维工具使用iis日志分析工具分析iis日志(iis日志的配置)
- 网站运维工具使用iis日志分析工具分析iis日志(iis日志的配置)
- 如何通过IIS日志分析网站的情况
- 如何通过IIS日志分析网站的隐形信息
- 百度热力图分析网站的技巧
- 使用LogParser和WCAT进行iis压力测试
- 利用LogParser将IIS日志插入到数据库
- IIS日志时间设置和网站IIS日志的设置与搜索引擎爬虫痕迹的分析
- 不用IIS的网站
- iis网站连接池状态分析 网站性能分析
- 使用AWStats做IIS网站日志分析
- 使用MediaPlayer播放音频
- 苹果MAC OS X系统下安装windows7双系统,boot camp不能分区的解决办法
- 《高效编程十八式》后记
- 材料库存天数的计算方法
- 找工作的必备武器:会创新、能适应
- LogParser的IIS网站分析技巧
- AsyncTask的用法
- CSDN也删博文了
- 解决Rhythmbox乱码
- HTTP 状态消息
- arm-elf-tools -20040427.sh 下载及安装
- win7下 安装 SQL server2000兼容问题解决
- 使用samba实现Ubuntu 11和win7文件共享
- Android中如何取消或定制当点击GridView的时候出现的那个黄色背景?