Linux命令（12）——排序与统计命令：sort、wc、uniq

使用Linux过程中，很多时候需要统计同类型数据出现的次数，或者对数据进行排序。比如用last可以查看这个月份有哪些用户登陆了主机，那么我可以针对每个用户查出他们总的登陆次数，此时就需要相关的排序与统计命令啦。

1.sort命令

1.1功能

以行为单位对文本文件的内容进行排序，将结果显示在标准输出。如果 file参数指定多个文件，那么 sort 命令将这些文件纵向连接起来，当作一个文件进行排序。

1.2格式：

sort <选项> <file ...>

1.3选项说明

选项 功能 -b，–ignore-leading-blanks 忽略每行前面的空格字符 -c，–check 检查文件是否已排序 -d，–dictionary-order 排序时，只处理英文字母、数字及空格字符，忽略其他字符 -f,–ignore-case 排序时，忽略字母的大小写 -i，–ignore-nonprinting 排序时，只考虑可打印字符，忽略不可打印字符 -k, –key=POS1[,POS2] POS1指定起始域位置，POS2不指定默认为最后一个域 -m，–merge 合并多个已排序的文件，不进行排序 -n，–numeric-sort 按数值大小排序 -o <输出文件>，–output=FILE 将排序的结果输入指定的文件 -r，–reverse 逆序排序 -t <分隔字符> 指定排序时所用的分隔字符 -u，–unique 就是 uniq ，相同的数据中，仅输出一行 –help 显示帮助信息 –version 显示版本信息

1.4示例

（1）对/etc/passwd 的账号进行排序。

[root@www ~]# cat /etc/passwd | sortadm:x:3:4:adm:/var/adm:/sbin/nologinapache:x:48:48:Apache:/var/www:/sbin/nologinbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologin

sort 是默认以第一个数据来排序，而且默认是以字符串形式来排序,所以由字母 a 开始升序排序。

（2）/etc/passwd 内容是以 : 来分隔的，我想以第三栏来排序，该如何做到？

[root@www ~]# cat /etc/passwd | sort -t ':' -k 3root:x:0:0:root:/root:/bin/bashuucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologinoperator:x:11:0:operator:/root:/sbin/nologinbin:x:1:1:bin:/bin:/sbin/nologingames:x:12:100:games:/usr/games:/sbin/nologin

这里有个疑问，默认是按照ASCII码值的大小来排序，什么1会排在10和11的后面呢？原因是对-k的误解，-k指定单个域时，默认截止域为最后一个域，所以出现了上面的情况。

如果想以数值排序，可以使用如下命令：

cat /etc/passwd | sort -t ':' -k 3 -n

（3）如果要对/etc/passwd，先以第六个域的第2个字符到第4个字符进行正向排序，再基于第一个域进行反向排序。

cat /etc/passwd | sort -t':' -k 6.2,6.4 -k 1r      sync:x:4:65534:sync:/bin:/bin/syncproxy:x:13:13:proxy:/bin:/bin/shbin:x:2:2:bin:/bin:/bin/shsys:x:3:3:sys:/dev:/bin/sh

2.uniq命令

2.1功能

uniq命令可以去除排序过的文件中的重复行并将结果输出到标准输出，因此uniq经常和sort合用。也就是说，为了使uniq起作用，所有的重复行必须是相邻的。

2.2格式

uniq [<选项>] [<file>]

2.3选项说明

-d:仅显示重复出现的行，即出现次数>=2的行-c:显示重复行出现的次数-i：忽略大小写字符的不同-u：只显示唯一的行，即出现次数等于1的行-f <n>:忽略前n个字段-w <字符位置>：指定要比较的字符--help:显示帮助信息--version:显示版本信息

2.4示例

testfile的内容如下：

cat testfilehelloworldfriendhelloworldhello

直接删除未经排序的文件，将会发现没有任何行被删除：

#uniq testfile  helloworldfriendhelloworldhello

排序文件，默认是去重：

#cat words | sort |uniqfriendhelloworld

排序之后删除了重复行，同时在行首位置输出该行重复的次数:

#sort testfile | uniq -c1 friend3 hello2 world

仅显示存在重复的行，并在行首显示该行重复的次数:

#sort testfile | uniq -dc3 hello2 world

仅显示不重复的行:

sort testfile | uniq -ufriend  

3.wc命令

3.1功能

统计文件里面有多少单词，多少行，多少字符和多少个字节。

3.2格式

wc [<选项>] [<file>]

3.3选项说明

-c:仅显示字节数-m:仅显示字符数-l:仅显示行数-L:显示文件中最长行的字符数-w:进显示单词数，单词以空格分割--help:显示帮助信息--version:显示版本信息

3.4示例

（1）默认使用wc统计/etc/passwd

#wc /etc/passwd40   45 1719 /etc/passwd

40是行数，45是单词数，1719是字节数。

（2）wc的命令比较简单使用，每个参数使用如下：

#wc -l /etc/passwd   #统计行数，在对记录数时，很常用40 /etc/passwd       #表示系统有40个账户#wc -w /etc/passwd  #统计单词出现次数45 /etc/passwd#wc -c /etc/passwd  #统计文件的字节数1719#wc -m /etc/passwd  #统计文件的字符数，如果是ASCII、Latin-1等单字节编码的数目，字符数等于字节数1719

---

参考文献

[1]man sort
[2]man uniq
[3]man wc