每天回顾linux命令（uniq）

uniq命令
uniq命令用于报告或忽略文件中的重复行。

语法
uniq (选项） （参数） 或者uniq (参数) (选项)

选项
不加参数：输出忽略文件中的重复行。
-c或–count：在每列前显示改行重复出现的次数。

root@68fc0a9bc6dd:/home/wzm/testuniq# uniq testfile.txtaaabbbcccroot@68fc0a9bc6dd:/home/wzm/testuniq# uniq testfile.txt  -c      2 aaa      2 bbb      2 cccroot@68fc0a9bc6dd:/home/wzm/testuniq# uniq  -c testfile.txt      2 aaa      2 bbb      2 cccroot@68fc0a9bc6dd:/home/wzm/testuniq# cat testfile.txtaaaaaabbbbbbcccccc

-d或–repeated：仅显示重复出现的行列

root@68fc0a9bc6dd:/home/wzm/testuniq# cat testfile.txtaaaaaabbbbbbccccccdddroot@68fc0a9bc6dd:/home/wzm/testuniq# uniq -d testfile.txtaaabbbccc

-D：显示所有重复出现的行（重复的输出2行，不输出不重复的）

root@68fc0a9bc6dd:/home/wzm/testuniq# uniq -d  testfile.txtaaabbbcccroot@68fc0a9bc6dd:/home/wzm/testuniq# uniq -D  testfile.txtaaaaaabbbbbbcccccc

-f<栏位>或–skip-fields=<栏位>：忽略比较指定的栏位（默认以空格符分隔符）。

root@68fc0a9bc6dd:/home/wzm/testuniq# uniq testfile.txtaaa bbbbbb bbbccc dddddd eeeroot@68fc0a9bc6dd:/home/wzm/testuniq# uniq -f 1 testfile.txtaaa bbbccc dddddd eeeroot@68fc0a9bc6dd:/home/wzm/testuniq# cat testfile.txtaaa bbbaaa bbbbbb bbbbbb bbbccc dddccc dddddd eee

-s<字符位置>或–skip-chars=<字符位置>：检查的时候，不考虑每一行前N个字符。

root@68fc0a9bc6dd:/home/wzm/testuniq# cat testfile.txtaaa bbbaaa bbbbbb bbbbbb bbbccc bbbccc bbbddd bbbroot@68fc0a9bc6dd:/home/wzm/testuniq# uniq testfile.txtaaa bbbbbb bbbccc bbbddd bbbroot@68fc0a9bc6dd:/home/wzm/testuniq# uniq -s 5 testfile.txtaaa bbbroot@68fc0a9bc6dd:/home/wzm/testuniq# uniq -s 2 testfile.txtaaa bbbbbb bbbccc bbbddd bbb

-u或–unique：显示不重复的行列

root@68fc0a9bc6dd:/home/wzm/testuniq# cat testfile.txtaaa bbbaaa bbbbbb bbbbbb bbbccc bbbccc bbbddd bbbroot@68fc0a9bc6dd:/home/wzm/testuniq# uniq -u testfile.txtddd bbb

-w<字符位置>或–check-char=<字符位置>:检查的时候，只考虑每一行前N个字符。

root@68fc0a9bc6dd:/home/wzm/testuniq# cat testfile.txtaaa cbbaaa dbbbbb ebbbbb fbbccc gbbccc hbbroot@68fc0a9bc6dd:/home/wzm/testuniq# uniq testfile.txtaaa cbbaaa dbbbbb ebbbbb fbbccc gbbccc hbbroot@68fc0a9bc6dd:/home/wzm/testuniq# uniq -w 3 testfile.txtaaa cbbbbb ebbccc gbb

参数
输入文件：指定要去除的重复文件。如果不指定则从标准输入读取数据。
输出文件：指定去除的重复行文件后的内容要写入的输出文件。如果不指定，则将内容显示到标准输出设备。