Linux文本处理与正则表达式

来源:互联网 发布:央视 大数据新闻报道 编辑:程序博客网 时间:2024/06/16 00:25


正则表达式:

  一种用来描述文本模式的特殊语法。

  由普通字符(例如字符a到z)以及特殊字符(称为元字符,如/、*、?等)组成。

基本元字符集及其含义:

字符

含义

^

只匹配行首

$

只匹配行尾

*

匹配0个或多个单字符

[ ]

只匹配[]内字符,可以是一个单字符,也可以是字符序列,可以使用-表示[]内字符序列范围,如[1-5]代表[12345]

 

只用来屏蔽一个元字符的特殊含义

.

只匹配任意单个字符

pattern{n}

只用来匹配前面pattern出现次数,n为次数

pattern{n,}

含义同上,但次数最少为n

Pattern{n,m}

含义同上,但pattern出现次数在n与m 之间

   部分元字符具体用法:

  用屏蔽一个特殊字符

   这里的特殊字符有’’,‘,||,*,+等

   *.pas

    - 正则表达式中匹配以*.pas结尾的所有字符或文件

  用[]匹配一个范围或集合

   - 逗号将括弧内要匹配的不同字符串分开

   - 用 - 表示一个字符串范围,表明字符串范围从 - 左边字符开始,到 - 右边字符结束。

  例子:

view sourceprint?
01.[0123456789]或[0-9]:假定要匹配任意一个数字。
02. 
03.[a-z]:匹配任意小写字母
04. 
05.[A-Z a-z]:匹配任意大小写字母
06. 
07.[A-Z a-z0-9]:匹配任意字母或数字
08. 
09.[S,s]:匹配大小写s

  用{}匹配模式结果出现的次数

  例子:

view sourceprint?
1.A{2}B:A出现2次,即AAB
2. 
3.A{4,}B:A最少出现4次,AAAAB,AAAAAB,....
4. 
5.A{,4}B:A出现次数2-4次,即AAB,AAAB,AAAAB


一些关于文本处理的命令:

  find命令

  -命令形式:

view sourceprint?
01.Find pathname -option [-print -exec -ok]
02. 
03.- pathname: find命令所查找的目录
04. 
05.- -print: find命令将匹配的文件输出到标准输出
06. 
07.- -exec: find命令对匹配的文件执行该参数所给出的shell命令,相应命令的形式为 ‘command’ {} ; ,注意{}和;之间的空格
08. 
09.- -ok 和 -exec的作用相同,只不过以一种更为安全的模式来执行该参数所给出的shell命令,在执行每一个命令之前,都会给出提示,让用户来确定是否执行。
10. 
11.- -name: 按照文件名来查找
12. 
13.- -perm: 按照文件权限来查找
14. 
15.- -user: 按照文件所有者来查找文件
16. 
17.- -group: 按照文件所属组来查找文件
18. 
19.- -mtime -n +n: 按照文件的更改时间来查找文件, -n 表示文件更改时间距现在n天以内,+n表示文件更改时间距现在n天以前。
20. 
21.- -size n[c]: 查找文件长度为n块的文件,带有c时表示文件长度以字节计
22. 
23.- -nogroup: 查找无有效所属组的文件,即该文件所属的组在/etc/groups中不存在
24. 
25.- -nouser: 查找无有效所有者的文件
26. 
27.- -newer file1 !file2:查找更改时间比文件file1新,但是比文件file2旧的文件
28. 
29.- -type:查找某一类型的文件,如:
30. 
31.b: 块设备文件
32. 
33.d: 目录
34. 
35.c: 字符设备文件
36. 
37.p: 管道文件
38. 
39.l: 符号链接文件
40. 
41.f: 普通文件
42. 
43.- -xargs
44. 
45.在使用find命令时的-exec选项处理匹配到的文件时,find命令将所有匹配到文件一起传递给exec。不幸的是,有些系统对能够传递给exec的命令的长度有限制,这样在find命令运行几分钟后,就会出现溢出的错误。错误信息通常是”参数列太长”或”参数列溢出” 。这就是xargs命令的用处所在,特别是与find命令一起使用。-exec会发起多个进程,但-xargs不会发起多个进程,只有一个。
46. 
47.- -depth选项
48. 
49.使用find命令时,可以希望先匹配所有文件,再在子目录中查找
  关于find命令的选项有很多,这里只列出了常用的选项,更多的参数,可以通过man find来查看。

  部分选项例子:

  -newer选项

view sourceprint?
1.jesson@jesson-HP:~/develop/workspace/shell_workspace$ find -newer "who.out" ! -newer"term.txt"
2../ls.out
3../term.txt
4../path.out
5../nullfile.txt
6../ls_sort.out
  -size 选项
view sourceprint?
1.jesson@jesson-HP:~/develop/workspace/shell_workspace$ find -size +300c
2../parm.sh
3.jesson@jesson-HP:~/develop/workspace/shell_workspace$ ls -al parm.sh
4.-rwxrw-r-- 1 jesson jesson 637  1月 17 17:07 parm.sh
  -depth选项

  使用find命令时,可以希望先匹配所有文件,再在子目录中查找

 

view sourceprint?
1.find / -name “CON.FILE” -depth -print
  - 用exec或ok来执行shell命令
view sourceprint?
1.find . -type f -exec ls -l {} ;
2.find. -name “*.log” -mtime +5 -ok rm {} ;
  -xargs
view sourceprint?
1.find -type f -print | xargs file
2.Find ./ -perm -7 -print | xargs chmod o-w

  grep命令

   对文本文件进行模式查找

   有三种变形:

   - grep:标准grep命令

   - egrep:扩展的grep命令,支持基本及扩展的正则表达式

   - fgrep:快速grep命令

   一般格式:

   - grep [option] 基本正则表达式 [文件]

   - 字符串参数最好采用双引号括,一是以防被误解为shell命令,二是可以用来查找多个单词组成的字符串

   命令选项:

   - -c:只输出匹配行的计数

   - -i:不区分大小写(只适用于单字符)

   - -h: 查询多文件时不显示文件名

   - -H: 显示文件名

   - -l: 查询多文件时只输出包含匹配字符的文件

   - -n: 显示匹配行及行号

   - -s: 不显示不存在无匹配文本的错误信息

   - -v: 显示不包含匹配文本的所有行

   例子:

view sourceprint?
01.grep “jesson” *.txt
02. 
03.- 在所有.txt文件中查找jesson
04. 
05.grep “^[^201]” myfile
06. 
07.- 在myfile中查找不是以2,0,1开头的行
08. 
09.grep “^$” myfile
10. 
11.- 在myfile中查找空行
12. 
13.grep “^[^dlp]” myfile
14. 
15.- 在myfile中查找不是以d l p开头的行


  grep命令类名

等价的正则表达式

[[:upper:]]

[A-Z]

[[:alnum:]]

[0-9a-zA-Z]

[[:lower:]]

[a-z]

[[:space:]]

空格或tab

[[:digit:]]

[0-9]

[[:alpha::]]

[a-zA-Z]

 

  awk介绍

   awk可以从文件字符串中基于指定规则浏览和抽取信息,是一种自解释的编程语言。

   调用awk 三种方式:

   - 命令行方式:

     awk [-F field-spearator] ‘command’ input-files

   - awk脚本

     所有awk命令插入一个文件,并使awk程序可执行,然后用awk命令解释器作为脚本的首行,以便通过键入脚本名称来调用它。

   - awk命令插入一个单独的文件

     awk -f awk-scipt-file input-files

   awk脚本是由各种模式和动作组成。

   模式和动作:

   -模式部分决定动作语句何时触发及触发事件(BEGIN,END)

   -动作对数据进行处理,放在大括号{}内指明。如print

   分隔符、域和记录

   -awk执行时,其浏览域标记为$1,$2,....,$n.。这种方法称为域标识,$0为所有域。

   -注意执行时不要混淆符号$和shell提示符$。

   awk 中特殊元字符:+,?

   匹配操作符:~,!~

    cat myfile | awk '$0 ~/218.79.131.96/'

     -打印出myfile中以匹配218.79.131.96的行

    awk '$0 !~ /218.79.131.96/' myfile

     -打印出myfile中不匹配218.79.131.96的行

    awk '{if($1 == "218.79.131.96") print $0}' myfile

     -打印出myfile中第一列等于218.79.131.96的行。

  例子:

   awk '{print $0}' myfile

    -打印出myfile中所有域,即打印出文件中的所有文件。

view sourceprint?
01.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ awk '{print $0}' lsout.txt
02.总用量 60
03.-rw-rw-r-- 1 jesson jesson   0  1月 22 23:43 2
04.-rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh
05.-rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh
06.-rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh
07.-rwxrwxr-x 1 jesson jesson 104  1月 22 23:07 file_desc.sh
08.-rwxrwxr-x 1 jesson jesson  67  1月 23 23:04 for_test1.sh
09.-rwxrwxr-x 1 jesson jesson  78  1月 23 23:05 for_test2.sh
10.-rwxrwxr-x 1 jesson jesson  73  1月 23 23:06 for_test3.sh
11.-rwxrwxr-x 1 jesson jesson  46  1月 22 23:03 helloworld.sh
12.-rw-rw-r-- 1 jesson jesson 573  1月 16 00:30 homefile.txt
13.-rw-rw-r-- 1 jesson jesson 573  1月 16 00:31 homefile.txt.sort
14.-rwxrwxr-x 1 jesson jesson 217  1月 22 23:42 if_test.sh
15.-rw-rw-r-- 1 jesson jesson   0  1月 31 10:08 lsout.txt
16.-rw-rw-r-- 1 jesson jesson  14  1月 22 23:07 name.txt
17.-rwxrwxr-x 1 jesson jesson 112  1月 23 23:32 until_test.sh
18.-rwxrwxr-x 1 jesson jesson 132  1月 23 23:47 while_test1.sh
19.-rwxrwxr-x 1 jesson jesson  72  1月 23 23:49 while_test2.sh
   awk '{print $9 " " $3}' myfile

    -打印出myfile中第9列和第三列,并以tab分隔.

 

view sourceprint?
01.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ awk '{print $9 "   " $3}'lsout.txt
02.break_test.sh   jesson
03.case_test.sh    jesson
04.continue_test.sh    jesson
05.file_desc.sh    jesson
06.for_test1.sh    jesson
07.for_test2.sh    jesson
08.for_test3.sh    jesson
09.helloworld.sh   jesson
10.homefile.txt    jesson
11.homefile.txt.sort   jesson
12.if_test.sh  jesson
13.lsout.txt   jesson
14.name.txt    jesson
15.until_test.sh   jesson
16.while_test1.sh  jesson
17.while_test2.sh  jesson
   另外,可以通过"-F 分隔符"来指定分隔。

 

   awk BEGIN END用法:

 

view sourceprint?
01.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ awk 'BEGIN {print "Current directory file and its owner"} {print $3 ": " $9} END {print "end-of-report"}'lsout.txt
02.Current directory file and its owner
03.jesson: break_test.sh
04.jesson: case_test.sh
05.jesson: continue_test.sh
06.jesson: file_desc.sh
07.jesson: for_test1.sh
08.jesson: for_test2.sh
09.jesson: for_test3.sh
10.jesson: helloworld.sh
11.jesson: homefile.txt
12.jesson: homefile.txt.sort
13.jesson: if_test.sh
14.jesson: lsout.txt
15.jesson: name.txt
16.jesson: until_test.sh
17.jesson: while_test1.sh
18.jesson: while_test2.sh
19.end-of-report

 

  sed介绍

   sed不与初始化文件打交道,它操作的只是一个拷贝,然后所有的改变如果没有重定向到一个文件,就将输出到屏幕。sed是一种重要的文本过滤工具,使用一行命令或者使用管道与grep或awk相结合使用。另外,它也是非交互性文本流编辑。

   调用sed方式:

    -使用sed命令行格式:

      sed [选项] sed命令 输入文件

    -使用sed脚本文件

      sed [选项] -f sed脚本文件 输入文件

    -sed 脚本文件 [选项] 输入文件

    不管是使用shell命令行方式还是脚本文件方式,如果没有指定输入文件,则sed从标准输入中接受输入,一般是键盘。

   sed命令选项:

    -n 不打印没有匹配到的

    -c 下一命令是编辑命令

    -f 正在调用sed脚本文件

   sed在文件中查询文体的方式

    -使用行号,可以是一个简单的数字,也可以是一个行号范围。

    -使用正则表达式

 

x

x为一行号

x,y

表示行号范围从x到y

/pattern/

查询包含模式的行

/pattern/pattern/

查询包含两个模式的行

pattern/,x

查询在给定行号上查询包含模式的行

x,/pattern/

通过行号和模式查询匹配和行

x,y!

查询不包含指定行号x 和y的行

 

   基本sed编辑命令:

 

p

打印匹配行

=

显示文件行号

a

在定位行号附加新文本信息

i

在定位行号后插入新文本信息

d

删除定们行

c

用新文本替换定位文本

s

使用替换模式替换相应模式

r

从另一文件中读文本

w

写文本到一个文件

q

第一个模式匹配完成后退出或立即退出

l

显示与八进制ASCII代码等价的控制字符

{}

在定位行执行的命令组

n

从另一个文件中读文本下一行,并附加在下一行

g

将模式2粘贴到/pattern n/

y

传送字符

   部分用法例子: 

 

view sourceprint?
01.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed '2p' lsout.txt
02.总用量 60
03.-rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh
04.-rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh
05.-rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh
06.-rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh
07.-rwxrwxr-x 1 jesson jesson 104  1月 22 23:07 file_desc.sh
08.-rwxrwxr-x 1 jesson jesson  67  1月 23 23:04 for_test1.sh
09.-rwxrwxr-x 1 jesson jesson  78  1月 23 23:05 for_test2.sh
10.-rwxrwxr-x 1 jesson jesson  73  1月 23 23:06 for_test3.sh
11.-rwxrwxr-x 1 jesson jesson  46  1月 22 23:03 helloworld.sh
12.-rw-rw-r-- 1 jesson jesson 573  1月 16 00:30 homefile.txt
13.-rw-rw-r-- 1 jesson jesson 573  1月 16 00:31 homefile.txt.sort
14.-rwxrwxr-x 1 jesson jesson 217  1月 22 23:42 if_test.sh
15.-rw-rw-r-- 1 jesson jesson   0  1月 31 10:35 lsout.txt
16.-rw-rw-r-- 1 jesson jesson  14  1月 22 23:07 name.txt
17.-rwxrwxr-x 1 jesson jesson 112  1月 23 23:32 until_test.sh
18.-rwxrwxr-x 1 jesson jesson 132  1月 23 23:47 while_test1.sh
19.-rwxrwxr-x 1 jesson jesson  72  1月 23 23:49 while_test2.sh
20.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n '2p' lsout.txt 
21.-rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh
22.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n '1,4p' lsout.txt
23.总用量 60
24.-rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh
25.-rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh
26.-rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh
27.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n '/while/p' lsout.txt
28.-rwxrwxr-x 1 jesson jesson 132  1月 23 23:47 while_test1.sh
29.-rwxrwxr-x 1 jesson jesson  72  1月 23 23:49 while_test2.sh
30.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n '2,/for/p' lsout.txt
31.-rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh
32.-rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh
33.-rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh
34.-rwxrwxr-x 1 jesson jesson 104  1月 22 23:07 file_desc.sh
35.-rwxrwxr-x 1 jesson jesson  67  1月 23 23:04 for_test1.sh
36.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n '/name/a hello sed!'lsout.txt
37.hello sed!
38.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ cat name.txt
39.jesson
40.cherry
41.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed '/jesson/cjesson20121020'name.txt
42.jesson20121020
43.cherry
44.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed '/jesson/ijesson20121020'name.txt
45.jesson20121020
46.jesson
47.cherry
48.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed '1d' name.txt
49.cherryjesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ cat name.txt
50.jesson
51.jesson
52.merry
53.cherry
54.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed 's/jesson/jesson20121020/g'name.txt
55.jesson20121020
56.jesson20121020
57.merry
58.cherry
59.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n 's/jesson/& hello/p'name.txt
60.jesson hello
61.jesson hello
62.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sed -n 's/jesson/hello &/p'name.txt
63.hello jesson
64.hello jesson

 

   有关sed的更多用法,可以查看帮助文档,man sed 或 info sed

合并与分隔

  sort命令

   用法:

    sort [options] files

    -许多不同的域按不同的列顺序分类。

    --c测试文件是否已经分类

    --m合并两个分类文件

    --u删除所有重复行

    --o存储sort结果的输出文件名

    --t 域分隔符;用非空格或tab键分隔域

    -+n n为域号,使用此域号开始分类

    -n指定分类是域上的数字分类项

    --r 比较求决逆。

   例子:

view sourceprint?
01.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sort -c name.txt
02.sort:name.txt:4:无序: cherry
03.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ cat lsout.txt
04.总用量 60
05.-rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh
06.-rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh
07.-rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh
08.-rwxrwxr-x 1 jesson jesson 104  1月 22 23:07 file_desc.sh
09.-rwxrwxr-x 1 jesson jesson  67  1月 23 23:04 for_test1.sh
10.-rwxrwxr-x 1 jesson jesson  78  1月 23 23:05 for_test2.sh
11.-rwxrwxr-x 1 jesson jesson  73  1月 23 23:06 for_test3.sh
12.-rwxrwxr-x 1 jesson jesson  46  1月 22 23:03 helloworld.sh
13.-rw-rw-r-- 1 jesson jesson 573  1月 16 00:30 homefile.txt
14.-rw-rw-r-- 1 jesson jesson 573  1月 16 00:31 homefile.txt.sort
15.-rwxrwxr-x 1 jesson jesson 217  1月 22 23:42 if_test.sh
16.-rw-rw-r-- 1 jesson jesson   0  2月  1 18:03 lsout.txt
17.-rw-rw-r-- 1 jesson jesson  27  2月  1 18:00 name.txt
18.-rw-rw-r-- 1 jesson jesson  27  2月  1 18:00 name.txt
19.-rwxrwxr-x 1 jesson jesson 112  1月 23 23:32 until_test.sh
20.-rwxrwxr-x 1 jesson jesson 132  1月 23 23:47 while_test1.sh
21.-rwxrwxr-x 1 jesson jesson  72  1月 23 23:49 while_test2.sh
22.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sort -u lsout.txt
23.-rw-rw-r-- 1 jesson jesson   0  2月  1 18:03 lsout.txt
24.-rw-rw-r-- 1 jesson jesson  27  2月  1 18:00 name.txt
25.-rw-rw-r-- 1 jesson jesson 573  1月 16 00:30 homefile.txt
26.-rw-rw-r-- 1 jesson jesson 573  1月 16 00:31 homefile.txt.sort
27.-rwxrwxr-x 1 jesson jesson 104  1月 22 23:07 file_desc.sh
28.-rwxrwxr-x 1 jesson jesson 112  1月 23 23:32 until_test.sh
29.-rwxrwxr-x 1 jesson jesson 132  1月 23 23:47 while_test1.sh
30.-rwxrwxr-x 1 jesson jesson 217  1月 22 23:42 if_test.sh
31.-rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh
32.-rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh
33.-rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh
34.-rwxrwxr-x 1 jesson jesson  46  1月 22 23:03 helloworld.sh
35.-rwxrwxr-x 1 jesson jesson  67  1月 23 23:04 for_test1.sh
36.-rwxrwxr-x 1 jesson jesson  72  1月 23 23:49 while_test2.sh
37.-rwxrwxr-x 1 jesson jesson  73  1月 23 23:06 for_test3.sh
38.-rwxrwxr-x 1 jesson jesson  78  1月 23 23:05 for_test2.sh
39.总用量 60
40.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ sort -r lsout.txt
41.总用量 60
42.-rwxrwxr-x 1 jesson jesson  78  1月 23 23:05 for_test2.sh
43.-rwxrwxr-x 1 jesson jesson  73  1月 23 23:06 for_test3.sh
44.-rwxrwxr-x 1 jesson jesson  72  1月 23 23:49 while_test2.sh
45.-rwxrwxr-x 1 jesson jesson  67  1月 23 23:04 for_test1.sh
46.-rwxrwxr-x 1 jesson jesson  46  1月 22 23:03 helloworld.sh
47.-rwxrwxr-x 1 jesson jesson 459  1月 24 00:07 continue_test.sh
48.-rwxrwxr-x 1 jesson jesson 263  1月 24 00:05 break_test.sh
49.-rwxrwxr-x 1 jesson jesson 218  1月 23 00:07 case_test.sh
50.-rwxrwxr-x 1 jesson jesson 217  1月 22 23:42 if_test.sh
51.-rwxrwxr-x 1 jesson jesson 132  1月 23 23:47 while_test1.sh
52.-rwxrwxr-x 1 jesson jesson 112  1月 23 23:32 until_test.sh
53.-rwxrwxr-x 1 jesson jesson 104  1月 22 23:07 file_desc.sh
54.-rw-rw-r-- 1 jesson jesson 573  1月 16 00:31 homefile.txt.sort
55.-rw-rw-r-- 1 jesson jesson 573  1月 16 00:30 homefile.txt
56.-rw-rw-r-- 1 jesson jesson  27  2月  1 18:00 name.txt
57.-rw-rw-r-- 1 jesson jesson  27  2月  1 18:00 name.txt
58.-rw-rw-r-- 1 jesson jesson   0  2月  1 18:03 lsout.txt

 

  uniq命令

   格式:

     uniq [option] files

     -从一个文本文件中去除或禁止重复行

     --u只显示不重复行 

     --d只显示有重复的行,每种重复行只显示其中一行

     --c打印每一重复行出现次数

     --f n n为数字,前n个域被忽略。

   例子:   

view sourceprint?
01.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ uniq -c name.txt
02.2 jesson
03.1 merry
04.1 cherry
05.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ uniq -d name.txt
06.jesson
07.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ uniq -u name.txt
08.merry
09.cherry

 

 join命令

 

    格式:

     join [option] file1 file2

     -用来将来自两个分类文本文件的行连接在一起。

     --an, n为一个数字,用于连接时从文件n中显示不匹配行。

     --o n.m 连接域,n为文件号,m为域号

     --j n m n为文件号,m为域号。使用其他域作连接域。

     --t 域分隔符,用来设置非窗或tab键的域分隔符。

  split命令

    格式:

     split -output_file-size input-filename output-filename

     --b n  每个分割文件的大小n

     --C n  每个分割文件一行最多n字节

     --l n 每个分割文件的行数

     --n 同-l n

    例子:

 

view sourceprint?
01.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ cat lsout.txt | wc -l
02.18
03.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ split -6 lsout.txt split
04.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$  ls -l split* | wc -l
05.3
06.jesson@jesson-K43SV:~/develop/worksapce/shell_workspace$ ls -l split*
07.-rw-rw-r-- 1 jesson jesson 313  2月  1 20:00 splitaa
08.-rw-rw-r-- 1 jesson jesson 358  2月  1 20:00 splitab
09.-rw-rw-r-- 1 jesson jesson 348  2月  1 20:00 splitac
 

   另外,关于合并和分割的命令,其实还有cut和paste,这些命令用法都很相似,可以查看帮助文档查看其详细的用法。

0 0