AWK去重脚本

来源:互联网 发布:java分布式日志收集 编辑:程序博客网 时间:2024/03/28 22:19

awk 去重脚本:

 

--cat test.txt

aa
bb
aa
bb
cc
aa
cc

 

->  awk '!a[$0]++'  test.txt

-输出:

aa
bb
cc

 

->awk '{print a[$0]++}' test.txt  
0
0
1
1
0
2
1

 

将输入行内容作为数组a的下标。第一个值输入时,a[]没有赋值,取反(!)就是真的,输出该行。然后a[]值加1,变为1.再有相同行时,a[]取反就是0,不输出,a[]的值自加。

原创粉丝点击