Linux命令之文本处理（一）

wc命令

用来统计文件的字符数、行数、单词数等，很常用的命令（面试的时候竟然没想起来这个命令，我是有多么挫。。。）
使用格式为：wc options file-lists,若file-lists为空或“-”，则表示从标准输入读入数据；options为空的时候，默认输出的数据依次是行数、单词数、字节数，如下：

    m@meng:~$ wc examples.desktop    240  569 8980 examples.desktop

下面介绍各个选项：

• -c：只显示字节数，注意是字节而不是字符，不同语言的一个字符占据的字节数是不同的，一个英文字母一般只占一个字节。

        m@meng:~$ cat new        a        m@meng:~$ wc -c new         2 new

文件new中只有一个字母a，但是统计结果却是2个字节，这是因为，wc把文件末尾的换行符也统计在内，这个换行符也是挺有趣的，改天我会写一篇文章分析一下。

• -m：只显示字符数，用汉语实验一下：

        m@meng:~$ cat new         你好        m@meng:~$ wc -c new         7 new        m@meng:~$ wc -m new         3 new

算上换行符，的确只有三个字符；但是占用的字节数却是7，说明一个汉字占用3个字节。

• -l：只显示行数

• -L：显示最长行的长度，如下：

    m@meng:~$ cat new     baa    m@meng:~$ wc -L new     3 new

由此可见，行的长度不包含行尾换行。

• -w：显示单词数，准确的含义是： A word is a non-zero-length sequence of characters delimited by white space.

sort命令

看来排序是计算机的一个刚性需求，无论哪个领域似乎都需要排序。sort用来对文件的行进行排序，输出排好序的结果，不改变源文件。
sort进行排序的单位是行，它会从每行的第一个字母开始比较，按照第一个字母的ASCII值从小到大排列行；若某两行的第一个字母相同，则比较它们的第二个字母，以此类推。但是，这种排序会受到locale环境变量的影响，不一定出现想要的结果，如下：

    m@meng:~$ cat new     apple 3    Apple 7    pear 6    pear  4    banana 1    orange 8    m@meng:~$ sort new     apple 3    Apple 7    banana 1    orange 8    pear  4    pear 6

按照ASCII的话，Apple应该排在第一行，但是它却出现在第二行，这是因为当前的locale是zh_CN,修改后如下：

    m@meng:~$ export LC_ALL=C    m@meng:~$ sort new     Apple 7    apple 3    banana 1    orange 8    pear  4    pear 6

注意，修改成en_US是不管用的，改成C是因为 manual中有句话“The locale specified by the environment affects sort order. Set LC_ALL=C to get the traditional sort order that uses native byte values”，现在按照想要的方式排序了。

• -t与-k选项
  sort命令更强大或更常用的功能是对格式化的行进行排序，格式化是指每行由某个分隔符分成了有规律的几段，这样以来就可以指定按照哪个段来排序，而不是像普通的排序那样从每行的开头逐个字符比较。如果每行的数据是不规律的，那么按字段排序是无效的。
  -t用来指定分隔符，-k用来指定哪个字段，字段从1开始计数。例如：

      m@meng:~$ sort -t " " -k 2 new       banana 1      apple 3      pear  4      pear 6      Apple 7      orange 8

默认的分隔符是那些空白字符，如空格，tab等，对这些分隔符可以省略-t，所以上面的-t ” “是多次一举；分隔符只能是单个字符，所以一般不用加引号。
可以指定多个-k选项，比如-k 2 -k 3，表示先按第二个字段排序，当第二个字段相同时，按第三个字段排序。-k还有一些更复杂的用法，参见man。

• -n选项
  按照数字大小排序。默认情况下，文本中的数字是被当做普通字符串的，而不是真正的数字。我们现在把文本中的orange数量改成11，没有-n时如下：

      m@meng:~$ sort new -k 2      banana     1      orange     11      apple  3      pear   4      pear   6      Apple  7

orange被排在第二行，这是典型的字符串排序方式。加上-n之后，如下：

      m@meng:~$ sort new -k 2 -n      banana     1      apple  3      pear   4      pear   6      Apple  7      orange     11

• -r选项：反向排序。配合-k选项时，可以直接写在字段数后面。
• -o选项：相当于重定向，指定输出文件，排序结果不再输出到标准输出，而是到指定的文件中。
• -c选项：并不真正排序，只是检查文件是否已经排好序。
• -u选项：除去重复的行。有人认为也可以配合-k除去某字段值相同的行，我试验了一下，似乎不行，如下：

        m@meng:~$ sort new -k 1 -u        Apple    7        apple    3        banana   1        orange   11        pear     4        pear     6

看来要两行完全相同才能除去。

• -d选项：只考虑字母和空白字符，其他字符自动忽略，如# $ %等。
• -f选项：忽略大小写。
• -i选项：忽略非打印字符。
  主要的就是这几个选项了，以后遇到其他不错的选项再补充。