grep 分析日志
来源:互联网 发布:明星淘宝店有哪些品牌 编辑:程序博客网 时间:2024/06/18 14:48
grep是一个很强大的命令。这里我们主要来讲使用grep命令来分析网站日志的方法和技巧。
1、合并网站日志
使用ls查看下待合并的日志
合并网站日志
2.拆分我们想要的日志文件
比如拆分百度蜘蛛的日志文件
比如拆分404错误日志
还可以同时拆分百度和谷歌的蜘蛛。
这里我们使用的是egrep来实现这一功能。
3、我们还可以结合awk命令来格式话我们的日志文件
awk倾向于分析一行中的字段,我们需要来看一下网站的日志格式
我们截取百度蜘蛛访问的来源IP、时间、抓取的URL、返回码和抓取的大小。
这里使用[tab]是为了导入excel文件中更加方便你的分析。更新:可以不用[tab]来格式化日志,直接选择空格作为分隔符就好。
如何使用命令删选不重复的URL的,由于很多日志的参数设置不一样,具体到详细命令命令会有所不同
首先我们还是要知道蜘蛛抓取你的URL位置在你的日志记录行的位置,
由于每条记录的时间戳等不一样,我们不能直接使用sort命令去重,再者我们需要的只是蜘蛛抓取的URL这个参数,那么我们就直接拎出$7这个URL参数后再去重。
如我们要计算蜘蛛抓取的不重复URL个数
要把蜘蛛抓取的不重复URL导出来,就可以去掉wc后加上>baiduspiderurl.txt等就可以了
我们还可以在导出的时候自动给每个URL加上抓取的次数
0 0
- grep 分析日志
- Linux下grep分析web服务器日志
- linux 下 grep 分析 Apache 服务器日志
- 日志分析查看——grep,sed,sort,awk运用
- 日志分析查看——grep,sed,sort,awk运用
- 日志分析查看——grep,sed,sort,awk运用
- 日志分析查看——grep,sed,sort,awk运用
- 日志分析查看——grep,sed,sort,awk运用
- 日志分析查看——grep,sed,sort,awk运用
- 日志分析查看——grep,sed,sort,awk运用
- grep过滤日志技巧
- 日志利器=grep
- 通过grep来进行日志分析,grep -C和配合awk实际对catalina.out使用案例
- linux下使用awk,wc,sort,uniq,grep对nginx日志进行分析和统计
- shell 日志分析 获取code的统计——grep awk group功能使用
- 22. 使用 awk / grep / head / tail 命令进行文本 / 日志分析
- linux下使用awk,wc,sort,uniq,grep对nginx日志进行分析和统计
- linux下使用awk,wc,sort,uniq,grep对nginx日志进行分析和统计
- 久经考验的全栈云平台:Apsara Stack Enterprise 新特性介绍
- 南京邮电大学研究生支教团成员个人简介
- 微信小程序 navigator组件
- Java多线程总结之线程安全队列Queue
- 杂记-混合小知识
- grep 分析日志
- 初学者建议
- CDH hadoop-hdfs-fuse的安装使用
- Ogre2.1 分析笔记(四) 渲染流程(一)
- 对C++IO库的一点理解
- PostgreSQL with子句使用
- Hibernate hello详解
- 最长回文字符串模板(manacher算法 时间复杂度O(n))
- OKHttp3用法介绍