Shell文件的排序、合并和分割

sort

sort [option] inputfile
选项及其意义：

option desc -b 忽略每行前面开始出的空格字符； -c 检查文件是否已经按照顺序排序； -d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符； -f 排序时，将小写字母视为大写字母； -i 排序时，除了040至176之间的ASCII字符外，忽略其他的字符； -m 将几个排序号的文件进行合并； -M 将前面3个字母依照月份的缩写进行排序； -n 依照数值的大小排序； -o<输出文件> 将排序后的结果存入制定的文件； -r 以相反的顺序来排序； -t<分隔字符> 指定排序时所用的栏位分隔字符；默认是空格符 +<起始栏位>-<结束栏位> 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。 -k\< num > 指定排序域。1表示第一域，2表示第二域。 -u 对结果进行去重

---

e.g.
sort -t: -k3n inputfile

-k的使用
-k选项的语法格式：

FStart.CStart Modifie,FEnd.CEnd Modifier-------Start--------,-------End-------- FStart.CStart 选项 , FEnd.CEnd 选项

这个语法格式可以被其中的逗号,分为两大部分，Start部分和End部分。Start部分也由三部分组成，其中的Modifier部分就是我们之前说过的类似n和r的选项部分。我们重点说说Start部分的FStart和C.Start。C.Start也是可以省略的，省略的话就表示从本域的开头部分开始。FStart.CStart，其中FStart就是表示使用的域，而CStart则表示在FStart域中从第几个字符开始算“排序首字符”。同理，在End部分中，你可以设定FEnd.CEnd，如果你省略.CEnd，则表示结尾到“域尾”，即本域的最后一个字符。或者，如果你将CEnd设定为0(零)，也是表示结尾到“域尾”。
e.g.

#从公司英文名称的第二个字母开始进行排序$ sort -t ' ' -k 1.2 facebook.txt baidu 100 5000 sohu 100 4500 google 110 5000 guge 50 3000#只针对公司英文名称的第二个字母进行排序，如果相同的按照员工工资进行降序排序$ sort -t ' ' -k 1.2,1.2 -nrk 3,3 facebook.txt baidu 100 5000 google 110 5000 sohu 100 4500 guge 50 3000

uniq

uniq [option] inputfile
选项及其意义：

option desc -c或——count 在每列旁边显示该行重复出现的次数； -d或–repeated 仅显示重复出现的行列； 每个记录仅显示一次 -f<栏位>或–skip-fields=<栏位> 忽略比较指定的栏位； -s<字符位置>或–skip-chars=<字符位置> 忽略比较指定的字符； -u或——unique 仅显示出不重复的行列； -w<字符位置>或–check-chars=<字符位置> 指定要比较的字符。

---

e.g.

uniq 与 sort -u的区别

• sort -u所有的重复行都会被去除。
• uniq 去除的重复行必须是连续出现的。

join

join [option] file1 file2
选项及其意义：
option|desc
-|-
-a<1或2>：除了显示原来的输出内容之外，还显示指令文件中没有相同栏位的行； 相当于left join ,right join
-e<字符串>：若[文件1]与[文件2]中找不到指定的栏位，则在输出中填入选项中的字符串；
-i或–ignore-case：比较栏位内容时，忽略大小写的差异；
-o<格式>：按照指定的格式来显示结果；
-t<字符>：使用栏位的分割字符；
-v<1或2>：更-a相同，但是只显示文件中没有相同栏位的行；
-1<栏位>：连接[文件1]指定的栏位； -2<栏位>：连接[文件2]指定的栏位。

---

• -a与-v的区别：
  -a显示显示匹配的记录。-v不显示匹配的记录。
• -o
  join默认显示2个文件中的所有域，-o用于改变显示结果。
  bash
#显示2个文件的前2列
join -t: -o1.1 1.2 2.1 2.2 file1

• -1,-2
  join默认指定2个文件的第一个域进行join，-1,-2指定2个文件进行join的域

cut

cut用于从标准输入或文件中按域或行提取数据。
cut [option] file

选项及其意义：

option desc -c 指定提取的字符数或字符范围 -f 指定提取的域数或域范围 -d 改变域分割符

-c格式：

• -cn :第n个字符
• -cn,m ：第n，m个字符
• -cn-m ：第n至m个字符
  -f格式与-c一样

paste

paste将标准输入或文件中的内容粘贴到新的文件。多个文件按列对列进行粘贴
paste [option] inputfile outfile
选项及其意义：

option desc -s 每个文件粘贴为一行，默认按列粘贴 - 从标准输入中读取文件 -d 改变域分割符,默认是空格或tab

e.g.

#每行显示5个文件ls | past -d“ ” - - - - -

split

用于切割文件
split [option] input output
选项及其意义：

option desc -或-l 用于指定文件切割的行数 -b 用于文件切割的大小，单位字节 -C 同-b，但切割时尽量保持每行的完整性 -d 使用数字作为后缀 -a 指定后缀长度，-a 3，长度为3

文件切割时默认加上编号，aa~zz，当不指定小文件名字时，默认为x。

tr

tr实现字符转换
tr [option] 字符串1 字符串2 输入文件
选项及其意义：

option desc -c 选定字符串1中的补集，即反选字符串1中的补集 -d 删除字符串1中的所有字符 -s 删除所有重复出现的字符序列，只保存1个

e.g.

#删除所有大写字母tr -s A-Z file

tr支持部分正则表达式，例如A-Z 0-9 A*3，tr支持POSIX字符以及控制字符

标记 速记符 含义 八进制方式 \a Ctrl-G 铃声 \007 \b Ctrl-H 退格符 \010 \f Ctrl-L 走行换页 \014 \n Ctrl-J 新行 \012 \r Ctrl-M 回车 \015 \t Ctrl-I tab键 \011 \v Ctrl-X \030

注意这些控制字符，如果想在linux下输入，如我们可能需要输入^M这种字符，只需ctrl+V+M同时按下即可。

tar

tar [-cxtzjvfpPN] 文件与目录 ….

-c：建立一个压缩文件的参数指令(create 的意思)；
-x：解开一个压缩文件的参数指令！
-t：查看 tarfile 里面的文件！
-r：向压缩归档文件末尾追加文件
-u：更新原压缩包中的文件
这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个.
特别注意，在参数的下达中， c/x/t/r/u 仅能存在一个！不可同时存在！因为不可能同时压缩与解压缩。

-z：有gzip属性,即需要用 gzip 压缩  -j：有bz2属性,即需要用 bzip2 压缩  -Z：有compress属性的  -v ：压缩的过程中显示文件(显示所有过程)！这个常用，但不建议用在背景执行过程！  -O：将文件解开到标准输出  -f ：使用档名，请留意，在 f 之后要立即接档名！不要再加参数！例如使用『 tar -zcvfP tfile sfile』就是错误的写法，要写成『 tar -zcvPf tfile sfile』才对喔！  -p ：使用原文件的原来属性（属性不会依据使用者而变）  -P ：可以使用绝对路径来压缩！  -N ：比后面接的日期(yyyy/mm/dd)还要新的才会被打包进新建的文件中！  --exclude FILE：在压缩的过程中，不要将 FILE 打包！    -f: 使用档案名字，切记，这个参数是最后一个参数，后面只能接档案名。  # tar -cf all.tar *.jpg 这条命令是将所有.jpg的文件打成一个名为all.tar的包。-c是表示产生新的包，-f指定包的文件名。  # tar -rf all.tar *.gif 这条命令是将所有.gif的文件增加到all.tar的包里面去。-r是表示增加文件的意思。   # tar -uf all.tar logo.gif 这条命令是更新原来tar包all.tar中logo.gif文件，-u是表示更新文件的意思。   # tar -tf all.tar 这条命令是列出all.tar包中所有文件，-t是列出文件的意思   # tar -xf all.tar 这条命令是解出all.tar包中所有文件，-x是解开的意思  

1、*.tar 用 tar –xvf 解压
2、*.gz 用 gzip -d或者gunzip 解压
3、.tar.gz和.tgz 用 tar –xzf 解压
4、*.bz2 用 bzip2 -d或者用bunzip2 解压
5、*.tar.bz2用tar –xjf 解压
6、*.Z 用 uncompress 解压
7、*.tar.Z 用tar –xZf 解压

rev

rev命令将文件中的每行内容以字符为单位反序输出，即第一个字符最后输出，最后一个字符最先输出，依次类推

colrm

colrm命令用于删除文件中的指定列。colrm命令从标准输入设备读取数据，转而输出到标准输出设备。如果不加任何参数，则colrm命令不会过滤任何一行。
colrm 开始列号 结束列号 < file