Linux sort uniq awk head 完成访问日志统计排序功能
来源:互联网 发布:js中保留字的单词 编辑:程序博客网 时间:2024/06/06 03:08
我们开发时候经常会统计一些访问日志,访问日志中的url是海量的,并且好多是重复内容。以url为例,统计url中出现频率次数前5的url,并按出现次数的降序排序。
linux命令:cat url.log | sort | uniq -c |sort -n -r -k 1 -t ' ' | awk -F '//' '{print $2}' | head -5
现在来一一分析这些命令组合的含义。
0)访问日志样例
1) cat t1.log
2) cat t1.log | sort | uniq -c
3) cat t1.log | sort | uniq -c | sort -k 1 -n -r
经过uniq -c 处理之后的数据格式形如"2 data",第一个字段是数字,表示重复的记录数;第二个字段为记录的内容。我们将对此内容进行排序。sort -k 1表示对于每行的第一个字段进行排序,这里即指代表重复记录数的那个字段。因为sort命令的默认排序是按照ASCII,这就会导致按从大到小进行排序时,数值2会排在数值11的前面,所以需要使用-n 参数指定sort命令按照数值大小进行排序。-r 表示逆序,即按照从大到小的顺序进行排序。4) cat t1.log | sort | uniq -c | sort -k 1 -n -r | awk -F '//' '{print $2}'
经过sort data | uniq -c | sort -k 1 -n -r 处理后的文本是 http://192.168.1.100 这样的格式,我们需要的结果是192.168.1.100这样的格式,需要去掉http://这些字段,采用awk才处理,awk -F '//' 是将http://192.168.1.100分组成2部分 http:// 和 192.168.1.100,{print $2}的作用是取数组的第二部分,即192.168.1.100
5) cat t1.log | sort | uniq -c | sort -k 1 -n -r | awk -F '//' '{print $2}'| head -5
head 命令表示选取文本的前x行。通过head -5 就可以得到排序结果中前五行的内容。
6)上面http://192.168.1.100这样日志格式只是一个简单的示例,实际中的格式会比较复杂 如:/Get http://192.168.1.100 /auth, 我们可以通过awk -F 或者cut -k 命令来截取url。详情参考awk、cut 命令使用方法。
参考文献:http://www.linuxidc.com/Linux/2011-01/31347.htm
- Linux sort uniq awk head 完成访问日志统计排序功能
- Linux sort uniq awk head 完成访问日志统计排序功能
- linux下使用awk,wc,sort,uniq,grep对nginx日志进行分析和统计
- linux下使用awk,wc,sort,uniq,grep对nginx日志进行分析和统计
- linux下使用awk,wc,sort,uniq,grep对nginx日志进行分析和统计
- 用linux命令分析文件-排序-统计(sort, uniq, awk)
- 用linux命令分析文件-排序-统计(sort, uniq, awk)
- Linux awk+uniq+sort 统计文件中某字符串出现次数并排序
- Linux命令去重统计排序(awk命令去重,sort, uniq命令去重统计)
- Linux 访问日志统计某个字段并排序功能
- linux命令--查找与统计(grep、awk、sort、uniq、wc)
- uniq和sort配合进行统计排序
- Linux去重 排序 计数 分隔 命令 awk sort wc uniq
- 统计文本中某值字段数量-cat-awk-sort-uniq-c
- 使用awk,sort和uniq从ATS访问日志中统计出异常链接域名的次数排名
- linux 管理小命令5—— 排序与统计命令sort wc uniq
- Linux命令(12)——排序与统计命令:sort、wc、uniq
- linux uniq sort 排重、排序
- Qt 翻译 多国语言 本地化。。。Step by Step
- ubuntu删除多余引导项
- java.util List and set
- 多线程下载JAVA代码移植到android 添加下载进度条跟踪
- Ubuntu在Dash主页找不到Startup Applications解决办法
- Linux sort uniq awk head 完成访问日志统计排序功能
- 针对Ubuntu更新后系统变慢的解决办法!
- MESSAGE Job found still running after platform shutdown. eclipse启动失败
- Windows2008R2如何安装framework 3.5
- 深入浅出设计模式 ------ Abstract Factory(抽象工厂)
- Grub2 grub.cfg详解
- Dom创建XML
- Dom解析XML
- Dom4j创建XML