使用nginx的access_log 进行接口调用频率分析

项目上线后需要分析各个接口每小时的调用情况，再根据压力接口进行优化

---

先开启nginx的access_log

access_log /****/路径/***.access.log;

在每次访问接口在access_log里面保存的内容为:

100.97.182.235 - - [24/Aug/2017:17:23:11 +0800] "POST /user/card HTTP/1.0" 201 151 "-" "-" "124.119.81.78 "

我们需要拿到调用的时间和调用的接口
也就是 [24/Aug/2017:17:23:11 +0800] 和 POST /user/card
项目采用的restful的api接口风格 所以我们需要将http请求方式也要保存下

在采集数据的时候我们使用逐行读取文件的方式，线上的nginx的access_log一般都是G以上的级别，再跑脚本的时候需要自己计算脚本内存会不会溢出，如果溢出最好采用分段式保存然后清空数组的方式
列入:

if($count > 20000){  file_put_contents($file,json_encode($content),FILE_APPEND);  $content = [];  $count = 0;}

在确定自己要获取的数据的时候,我们就可以采用正则方式去过滤和写脚本了
1.获取日志的时间

100.97.182.235 - - [24/Aug/2017:17:23:11 +0800] "POST /user/card HTTP/1.0" 201 151 "-" "-" "124.119.81.78 "//我们根据 [ 和] "进行增则匹配//正则匹配结果$pregResult = [];$result = preg_match('/\- \[.*\]/',$row,$pregResult);if ($result < 1) {    //@todo 保存异常数据 最后异常数据处理}$time = $pregResult[0];//去掉多余字符$time = str_replace('- [','',$time);$time = str_replace(']','',$time);

2.获取接口名称

根据]和 HTTP过滤出接口名称100.97.182.235 - - [24/Aug/2017:17:23:11 +0800] "POST /user/card HTTP/1.0" 201 151 "-" "-" "124.119.81.78 "$pregResult = [];$result = preg_match('/\].* HTTP/',$row,$pregResult);if ($result < 1) {    //@todo 保存异常数据 最后异常数据处理}$apiName = $pregResult[0];//去掉头部 [$apiName = str_replace('] "','',$apiName);//去掉尾部 HTTP$apiName = str_replace(' HTTP','',$apiName);//去掉get方式的url参数if (strpos($apiName,'?') !== false) {    $parseList = parse_url($apiName);    $apiName = $parseList['path'];}

我采用将数据进行两次加工 第一次将数据保存成以下格式
脚本进行每2w次写入文件一次 然后清空数组 继续累计

时间^接口名称^调用次数时间^接口名称^调用次数.........

最后再对上述格式进行数据加工成

{    "接口":{        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",    },    "接口":{        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",    },    "接口":{        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",        "时间":"次数",    },}

拿到json格式就可以使用echart进行图表统计

具体脚本代码和部分代码,可以留言向我要
后端就一个思想，思想有了, 代码水到渠成了