利用shell分析公网地址来源

先从nginx里查出访问ip
cat qq.wolf.com_access.log |grep "12/Nov/2017"| awk  '{print $1}' >/tmp/wolf.log


发现awk打印完有个逗号，去处逗号(三种方法)
awk '{sub(/.$/,"")}1' /tmp/wolf.log >wolf.txt
awk '{printf $0"\b \n"}' /tmp/wolf.log  >wolf.txt
sed 's/.$//' /tmp/wolf.log  >/tmp/wolf.txt >wolf.txt

使用命令查看
time cat /tmp/wolf.txt|sort|uniq|while read line;do curl http://www.ip.cn/index.php?ip=$line;done
time cat /tmp/1.log|sort|uniq|while read line;do curl http://www.ip.cn/index.php?ip=$line;done 

[dmadmin@ip-10-247-0-70 logs]$ time cat /tmp/1.log|sort|uniq|while read line;do curl http://www.ip.cn/index.php?ip=$line;done    
IP：111.77.220.238 来自：江西省宜春市 电信
IP：113.101.56.23 来自：广东省广州市 电信
IP：115.219.192.7 来自：浙江省温州市 电信
IP：117.27.180.7 来自：福建省漳州市 电信
IP：1.180.206.2 来自：内蒙古自治区呼和浩特市 电信
IP：119.146.237.82 来自：广东省汕尾市 电信
IP：120.194.143.67 来自：河南省鹤壁市 移动
IP：120.209.136.92 来自：安徽省合肥市 移动
IP：121.14.14.48 来自：广东省广州市 电信
IP：124.94.108.148 来自：辽宁省盘锦市 联通
IP：125.77.210.236 来自：福建省厦门市 电信
IP：163.125.208.111 来自：广东省深圳市 联通
IP：183.240.27.92 来自：广东省东莞市 移动
IP：42.5.103.103 来自：辽宁省辽阳市 联通
IP：42.51.183.157 来自：河南省洛阳市 电联通信
IP：59.40.67.195 来自：广东省深圳市 电信


real    0m15.069s
user    0m0.034s

sys     0m0.030s

在从中进行过滤，加入防火墙ip立表，动态生效