linux sort 命令详解

来源:互联网 发布:rec播放软件 编辑:程序博客网 时间:2024/05/29 17:33
1 sort的工作原理

sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。

[plain] view plaincopy
  1. [rocrocket@rocrocket programming]$ cat seq.txt  
  2. banana  
  3. apple  
  4. pear  
  5. orange  
  6. [rocrocket@rocrocket programming]$ sort seq.txt  
  7. apple  
  8. banana  
  9. orange  
  10. pear  
2 sort的-u选项
它的作用很简单,就是在输出行中去除重复行。
[plain] view plaincopy
  1. [rocrocket@rocrocket programming]$ cat seq.txt  
  2. banana  
  3. apple  
  4. pear  
  5. orange  
  6. pear  
  7. [rocrocket@rocrocket programming]$ sort seq.txt  
  8. apple  
  9. banana  
  10. orange  
  11. pear  
  12. pear  
  13. [rocrocket@rocrocket programming]$ sort -u seq.txt  
  14. apple  
  15. banana  
  16. orange  
  17. pear  
pear由于重复被-u选项无情的删除了。

3 sort的-r选项

sort默认的排序方式是升序,如果想改成降序,就加个-r就搞定了。

[plain] view plaincopy
  1. [rocrocket@rocrocket programming]$ cat number.txt  
  2. 1  
  3. 3  
  4. 5  
  5. 2  
  6. 4  
  7. [rocrocket@rocrocket programming]$ sort number.txt  
  8. 1  
  9. 2  
  10. 3  
  11. 4  
  12. 5  
  13. [rocrocket@rocrocket programming]$ sort -r number.txt  
  14. 5  
  15. 4  
  16. 3  
  17. 2  
  18. 1  

4 sort的-o选项

由于sort默认是把结果输出到标准输出,所以需要用重定向才能将结果写入文件,形如sort filename > newfile。

但是,如果你想把排序结果输出到原文件中,用重定向可就不行了。

[plain] view plaincopy
  1. [rocrocket@rocrocket programming]$ sort -r number.txt > number.txt  
  2. [rocrocket@rocrocket programming]$ cat number.txt  
  3. [rocrocket@rocrocket programming]$  
看,竟然将number清空了。
就在这个时候,-o选项出现了,它成功的解决了这个问题,让你放心的将结果写入原文件。这或许也是-o比重定向的唯一优势所在。
[plain] view plaincopy
  1. [rocrocket@rocrocket programming]$ cat number.txt  
  2. 1  
  3. 3  
  4. 5  
  5. 2  
  6. 4  
  7. [rocrocket@rocrocket programming]$ sort -r number.txt -o number.txt  
  8. [rocrocket@rocrocket programming]$ cat number.txt  
  9. 5  
  10. 4  
  11. 3  
  12. 2  
  13. 1  

5 sort的-n选项

你有没有遇到过10比2小的情况。我反正遇到过。出现这种情况是由于排序程序将这些数字按字符来排序了,排序程序会先比较1和2,显然1小,所以就将10放在2前面喽。这也是sort的一贯作风。
我们如果想改变这种现状,就要使用-n选项,来告诉sort,“要以数值来排序”!
[plain] view plaincopy
  1. [rocrocket@rocrocket programming]$ cat number.txt  
  2. 1  
  3. 10  
  4. 19  
  5. 11  
  6. 2  
  7. 5  
  8. [rocrocket@rocrocket programming]$ sort number.txt  
  9. 1  
  10. 10  
  11. 11  
  12. 19  
  13. 2  
  14. 5  
  15. [rocrocket@rocrocket programming]$ sort -n number.txt  
  16. 1  
  17. 2  
  18. 5  
  19. 10  
  20. 11  
  21. 19  
6 sort的-t选项和-k选项
如果有一个文件的内容是这样:
[plain] view plaincopy
  1. [rocrocket@rocrocket programming]$ cat facebook.txt  
  2. banana:30:5.5  
  3. apple:10:2.5  
  4. pear:90:2.3  
  5. orange:20:3.4  
这个文件有三列,列与列之间用冒号隔开了,第一列表示水果类型,第二列表示水果数量,第三列表示水果价格。那么我想以水果数量来排序,也就是以第二列来排序,如何利用sort实现?幸好,sort提供了-t选项,后面可以设定间隔符。(是不是想起了cut和paste的-d选项,共鸣~~)指定了间隔符之后,就可以用-k来指定列数了。

[plain] view plaincopy
  1. [rocrocket@rocrocket programming]$ sort -n -k 2 -t : facebook.txt  
  2. apple:10:2.5  
  3. orange:20:3.4  
  4. banana:30:5.5  
  5. pear:90:2.3  

我们使用冒号作为间隔符,并针对第二列来进行数值升序排序,结果很令人满意。

7 其他的sort常用选项
-f会将小写字母都转换为大写字母来进行比较,亦即忽略大小写
-c会检查文件是否已排好序,如果乱序,则输出第一个乱序的行的相关信息,最后返回1
-C会检查文件是否已排好序,如果乱序,不输出内容,仅返回1
-M会以月份来排序,比如JAN小于FEB等等
-b会忽略每一行前面的所有空白部分,从第一个可见字符开始比较。

有时候学习脚本,你会发现sort命令后面跟了一堆类似-k1,2,或者-k1.2 -k3.4的东东,有些匪夷所思。今天,我们就来搞定它—-k选项!

1 准备素材

[plain] view plaincopy
  1. $ cat facebook.txt  
  2. google 110 5000  
  3. baidu 100 5000  
  4. guge 50 3000  
  5. sohu 100 4500  

第一个域是公司名称,第二个域是公司人数,第三个域是员工平均工资。

2 我想让这个文件按公司的字母顺序排序,也就是按第一个域进行排序:(这个facebook.txt文件有三个域)
[plain] view plaincopy
  1. $ sort -t ‘ ‘ -k 1 facebook.txt  
  2. baidu 100 5000  
  3. google 110 5000  
  4. guge 50 3000  
  5. sohu 100 4500  
看到了吧,就直接用-k 1设定就可以了。(其实此处并不严格,稍后你就会知道)

3 我想让facebook.txt按照公司人数排序
[plain] view plaincopy
  1. $ sort -n -t ‘ ‘ -k 2 facebook.txt  
  2. guge 50 3000  
  3. baidu 100 5000  
  4. sohu 100 4500  
  5. google 110 5000  

不用解释,我相信你能懂。但是,此处出现了问题,那就是baidu和sohu的公司人数相同,都是100人,这个时候怎么办呢?按照默认规矩,是从第一个域开始进行升序排序,因此baidu排在了sohu前面。

4  我想让facebook.txt按照公司人数排序 ,人数相同的按照员工平均工资升序排序:

[plain] view plaincopy
  1. $ sort -n -t ‘ ‘ -k 2 -k 3 facebook.txt  
  2. guge 50 3000  
  3. sohu 100 4500  
  4. baidu 100 5000  
  5. google 110 5000  

看,我们加了一个-k2 -k3就解决了问题。对滴,sort支持这种设定,就是说设定域排序的优先级,先以第2个域进行排序,如果相同,再以第3个域进行排序。(如果你愿意,可以一直这么写下去,设定很多个排序优先级)

5 我想让facebook.txt按照员工工资降序排序,如果员工人数相同的,则按照公司人数升序排序:(这个有点难度喽)

[plain] view plaincopy
  1. $ sort -n -t ‘ ‘ -k 3r -k 2 facebook.txt  
  2. baidu 100 5000  
  3. google 110 5000  
  4. sohu 100 4500  
  5. guge 50 3000  
此处有使用了一些小技巧,你仔细看看,在-k 3后面偷偷加上了一个小写字母r。你想想,再结合我们上一篇文章,能得到答案么?揭晓:r和-r选项的作用是一样的,就是表示逆序。因为sort默认是按照升序排序的,所以此处需要加上r表示第三个域(员工平均工资)是按照降序排序。此处你还可以加上n,就表示对这个域进行排序时,要按照数值大小进行排序,举个例子吧:
[plain] view plaincopy
  1. $ sort -t ‘ ‘ -k 3nr -k 2n facebook.txt  
  2. baidu 100 5000  
  3. google 110 5000  
  4. sohu 100 4500  
  5. guge 50 3000  

看,我们去掉了最前面的-n选项,而是将它加入到了每一个-k选项中了。

6 -k选项的具体语法格式

要继续往下深入的话,就不得不来点理论知识。你需要了解-k选项的语法格式,如下:
[ FStart [ .CStart ] ] [ Modifier ] [ , [ FEnd [ .CEnd ] ][ Modifier ] ]
这个语法格式可以被其中的逗号(“,”)分为两大部分,Start部分和End部分。
先给你灌输一个思想,那就是“如果不设定End部分,那么就认为End被设定为行尾”。这个概念很重要的,但往往你不会重视它。
Start部分也由三部分组成,其中的Modifier部分就是我们之前说过的类似n和r的选项部分。我们重点说说Start部分的FStart和C.Start。
C.Start也是可以省略的,省略的话就表示从本域的开头部分开始。之前例子中的-k 2和-k 3就是省略了C.Start的例子喽。
FStart.CStart,其中FStart就是表示使用的域,而CStart则表示在FStart域中从第几个字符开始算“排序首字符”。
同理,在End部分中,你可以设定FEnd.CEnd,如果你省略.CEnd,则表示结尾到“域尾”,即本域的最后一个字符。或者,如果你将CEnd设定为0(零),也是表示结尾到“域尾”。
7 突发奇想,从公司英文名称的第二个字母开始进行排序:
[plain] view plaincopy
  1. $ sort -t ‘ ‘ -k 1.2 facebook.txt  
  2. baidu 100 5000  
  3. sohu 100 4500  
  4. google 110 5000  
  5. guge 50 3000  

看,我们使用了-k 1.2,这就表示对第一个域的第二个字符开始到本域的最后一个字符为止的字符串进行排序。你会发现baidu因为第二个字母是a而名列榜首。sohu和 google第二个字符都是o,但sohu的h在google的o前面,所以两者分别排在第二和第三。guge只能屈居第四了。

8 又突发奇想,,只针对公司英文名称的第二个字母进行排序,如果相同的按照员工工资进行降序排序:

[plain] view plaincopy
  1. $ sort -t ‘ ‘ -k 1.2,1.2 -k 3,3nr facebook.txt  
  2. baidu 100 5000  
  3. google 110 5000  
  4. sohu 100 4500  
  5. guge 50 3000  
由于只对第二个字母进行排序,所以我们使用了-k 1.2,1.2的表示方式,表示我们“只”对第二个字母进行排序。(如果你问“我使用-k 1.2怎么不行?”,当然不行,因为你省略了End部分,这就意味着你将对从第二个字母起到本域最后一个字符为止的字符串进行排序)。对于员工工资进行排 序,我们也使用了-k 3,3,这是最准确的表述,表示我们“只”对本域进行排序,因为如果你省略了后面的3,就变成了我们“对第3个域开始到最后一个域位置的内容进行排序” 了。
0 0