处理以下文件内容,将域名取出并进行计数排序

来源:互联网 发布:apache storm官方文档 编辑:程序博客网 时间:2024/06/05 07:22

http://www.baidu.com/index.html 
http://www.baidu.com/1.jpg 
http://post.baidu.com/index.php 
http://mp3.baidu.com/index.jsp 
http://www.baidu.com/3.html 
http://post.baidu.com/2.bmp 

解决方法:

方法1:

# awk -F '/' '{print $3}' czz.txt |sort -r|uniq -c

3 www.baidu.com

2 post.baidu.com

1 mp3.baidu.com

方法2:

# cut -d / -f3 czz.txt |sort -r |uniq -c

方法3:

[root@centos7 oldboy]# awk -F "/"'{S[$3]=S[$3]+1}END{for(k in S) print k,S[k]}' czz.txt|sort -r

www.baidu.com 3

post.baidu.com 2

mp3.baidu.com 1

方法4:

# sed -r 's#http://(.*)/.*#\1#g' czz.txt |sort -r|uniq -c

目前这四种方法已经够用了,不再上传其他方法了

阅读全文
0 0