shell 中 grep、sed、awk 命令

grep 命令

grep命令基本语法

grep命令是打印匹配文本行，其全称为 Global Search Regular Expression and Print out the line；基本语法如下：

grep [OPTIONS] PATTERN [FILE...]grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...]
1
2
3
1
2
3

其中，OPTIONS表示选项；PATTERN表示匹配模式，匹配模式可以是字符串、变量、正则表达式，若匹配模式中含义空格，则需要使用双引号将匹配模式引起来；FILE表示一系列文件；grep命令从文件中搜索满足指定匹配模式的文本行，并打印出来。

在前面文章《正则表达式》可知，正则表达式的分类为：

• 基本正则表达式（Basic Regular Expression）：Basic RegEx，简称 BRE
• 扩展正则表达式（Extended Regular Expression）：Extended RegEx，简称 ERE
• Perl 正则表达式（Perl Regular Expression）：Perl RegEx，简称 PCRE；

grep命令根据不同的参数支持不同的正则表达式：

• grep命令后不跟任何参数（默认），则表示要使用“BRE”；
• grep命令后跟-E参数，则表示要使用“ERE”；
• grep命令后跟-P参数，则表示要使用“PCRE”；

常用OPTIONS选项如下表所示：

选项说明-E指定 PATTERN 匹配模式为扩展正则表达式-F指定 PATTERN 匹配模式为固定的字符串-G指定 PATTERN 匹配模式为基本正则表达式-P指定 PATTERN 匹配模式为 Perl 正则表达式  -e PATTERN指定 PATTERN 为一个或多个搜索模式-f FILE指定包含搜索模式的 FILE-i匹配是忽略字母大小写-v显示所有与匹配模式不匹配的文本行-w执行单词搜索-x显示与指定模式精确匹配而不含其他字符的文本行-y与选项 -i 相同功能  -c只打印匹配的文本行的行数，不显示匹配内容-l只显示匹配文本行的文件名，不显示匹配内容-n列出所有匹配的文本行，并显示行号-r递归搜索目录(当前目录及其各级子目录)-s不显示错误信息

流编辑器 sed

sed命令

sed命令从文件或者标准输入中一次读取一行数据，将该行数据复制到缓冲区，然后读取命令行或脚本的编辑子命令，对缓冲区中的文本行进行编辑。重复此工作，直到所有文本行都处理完毕。

sed命令编辑的是文件是原始文件在缓冲区中的副本，并不影响原始文件，但是可以把编辑结果通过输出重定向保存起来。

sed命令的基本语法如下所示：

sed [OPTION]... {script} [input-file]...
1
1

常用选项OPTION如下表所示：

选项说明-n取消默认输出-e script允许执行多个脚本-f script-file从脚本文件中读取命令-i直接修改原始文件-l N指定行长度为 N-r在脚本中使用扩展正则表达式-s把文件作为单独文件-u最低限度的缓存输入与输出

文本行定位

sed命令提供了两种方式来实现文本行的定位：行号定位、正则表达式定位

行号定位

• 定位某个特定的行n：n是一个整数，表示定位到文本的第n行；
• 定位某段连续的行n,m：n和m都是整数，表示定位到起始行为n，终止行为m的文本行；
• 指定起始行和步长start~step：起始行为start，步长为step；
• 第一行1和最后一行$：1表示第一行，$表示最后一行；
• 指定某行后面的几行n,+x：表示从第n行开始到后面的x行；

正则表达式定位

sed命令使用正则表达式定位文本行的语法如下所示：

#regexp 表示正则表达式/regexp/
1
2
1
2

sed命令的常用操作

sed命令的常用编辑命令有：打印、删除、增加、替换；其基本语法如下所示：

[address1[,address2]] command [argument]
1
1

其中address称为位置参数，即上面的行定位；command是sed所提供的子命令，用来实现编辑操作；argument表示子命令的选项参数；

打印文本

sed命令中可通过位置参数和p命令打印所需要的文本行，其语法如下所示：

[address1[,address2]] p
1
1

例如：

#! /bin/bash#输出第1~4行文本，注意1,3p之间是单引号sed -n '1,3p' test.txt#输出以Lin开头的文本行result=`sed -n '/^Lin/ p' test.txt`echo "$result"
1
2
3
4
5
6
7
8
1
2
3
4
5
6
7
8

替换文本

sed命令中可通过位置参数和s子命令替换文本行，其语法如下所示：

[address1[,address2]] s/pattern/replacemen/[flag]
1
1

flag为替换标志，不同值会影响s子命令的行为；flag常用取值如下表所示：

取值说明g全局匹配，会替换文本行所有符合规则的字符串p替换第一个符合规则的字符串，并将缓冲区输出到标准输出w替换第一个符合规则的字符串，并将受影响的行输出到磁盘文件中十进制数n替换文本行中第n个符合规则的字符串空若不指定flag值，替换文本行中第一个符合规则的字符串

删除文本

sed命令中可通过位置参数和d子命令删除文本行，其语法如下所示：

[address1[,address2]] d
1
1

增加文本

追加文本 
sed命令中可通过位置参数和a子命令追加文本行，其语法如下所示：

#将string插入到address1位置后面[address1] a string 
1
2
1
2

插入文本 
sed命令中可通过位置参数和i子命令插入文本行，其语法如下所示：

#将string插入到address1位置前面[address1] i string 
1
2
1
2

组合命令

sed命令支持将多个子命令组合在一起使用；具体方式如下所示：

• 使用-e选项：-e选项可以将多个子命令组合在一起使用；例如：

#! /bin/bash#将全部小写字母 e 替换成大写字母 E，并打印第 1 行到第 3 行文本行result=`sed -n -e 's/e/E/g' -e '1,3 p' test.txt`echo "$result"
1
2
3
4
5
1
2
3
4
5

• 使用分号;执行多个子命令： 
  其语法格式：

sed -e 'command1; command2...' filename
1
1

例如：

#! /bin/bash#将全部小写字母 e 替换成大写字母 E，并打印第 1 行到第 3 行文本行result=`sed -n -e 's/e/E/g; 1,3 p' test.txt`echo "$result"
1
2
3
4
5
1
2
3
4
5

• 对同一个地址使用多个子命令： 
  其语法格式：

address{    command1    command2    command3    ...}#或[address] { command1;command2;command3;...}
1
2
3
4
5
6
7
8
1
2
3
4
5
6
7
8

sed脚本文件

可以将多个子命令写成后缀名为.sed的sed脚本文件，sed脚本文件内容只需将各个子命令依次列出来，不必使用引号，若将多个子命令写在同一行，则不同子命令之间需使用分号隔开。调用sed脚本文件的格式如下：

sed -f script
1
1

awk命令

awk命令的基本语法

awk命令是一个文本处理工具，其基本语法如下所示：

awk pattern { actions }
1
1

其中，pattern表示匹配模式，actions表示要执行的操作；即对符合pattern匹配模式的文本行执行actions操作；若省略pattern匹配模式，则表示对所有文本行执行actions操作；若省略pattern 
匹配模式，则把匹配成功的文本行打印输出；但是不能同时省略pattern和actions。

pattern匹配模式可以是以下其中一种：

• 正则表达式；
• 关系表达式；
• 模式1，模式2：指定一行的范围；
• BEGIN：指定在第一行文本被处理之前所发生的操作；
• END：指定在最后一行文本被读取之后发送的操作；

actions命令由一个或多个命令、函数或者表达式组成，他们之间由换行符或分号隔开，并位于大括号内，一般有以下四种情况：

• 变量或数组赋值；
• 输出命令，例如printf或print；
• 内置函数；
• 流控制语句，例如if、while或for语句；

awk命令的执行方式：

• 通过命令行执行：其语法：

awk 'awk程序语句' 数据文件
1
1

• 执行 awk脚本：其语法：

#注意：awk脚本文件是后缀名为.awk的文件awk -f awk脚本文件 数据文件
1
2
1
2

• 可执行脚本文件：即在 shell文件中指定解析器为#! /bin/awk -f

awk命令的匹配模式

在awk命令的匹配模式主要包括：关系表达式、正则表达式、混合模式、区间模式、BEGIN模式、END模式等。

关系表达式

awk命令中的关系运算符如下表所示：

运算符说明>大于>=大于等于<小于<=小于等于==等于!=不等于~匹配运算：例如$1~/^A表示匹配第一个字段以字符A开头的记录!~不匹配运算

正则表达式

awk支持以正则表达式为匹配模式，其基本语法如下所示：

#regexp 表示正则表达式/regexp/
1
2
1
2

例如：输出以字符u开头的文本行

#! /bin/bash#filename:test.shresult=`awk '/^u/ {print}' shell.md`echo "$result"#输出结果：$ sh test.sh unset variable_nameunset varuntiluntilunset -f 函数名
1
2
3
4
5
6
7
8
9
10
11
12
13
14
1
2
3
4
5
6
7
8
9
10
11
12
13
14

混合模式

在awk命令的匹配模式中，可以通过逻辑运算符使用多个表达式组成命令；基本逻辑运算符如下表所示：

运算符说明&&逻辑与||逻辑或!逻辑非

区间模式

awk命令支持区间模式，其语法如下：

pattern1, pattern2
1
1

例如：第一个匹配模式是：以字符串one开头的文本行；第二个匹配模式是：第3字段等于14的文本行；所有符合这两个匹配模式之间的文本行都会被输出；

#!/bin/bash#filename:test.shresult=`awk '/^one/ , $3==14 {print}' test.txt`echo "$result"#执行结果：$ sh test.sh one     10  20  30two     15  25  20three   20  15  31four    16  26  35five    11  14  40
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

BEGIN模式

BEGIN模式是awk命令一种特殊的内置模式，在awk读取数据之前对执行的操作；

例如：

#! /usr/bin/awk -f#filename:test.shBEGIN { print "Beging operator." }/^one/ , $3==14 {print}#执行结果：$ ./test.sh test.txtBeging operator.one     10  20  30two     15  25  20three   20  15  31four    16  26  35five    11  14  40
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

END模式

END模式是在处理完数据之后执行的操作；例如：

#! /usr/bin/awk -f# /usr/bin/env awk -f#filename:test.shBEGIN {    print "Beging operator."    print "===================="}/^one/ , $3==14 {print}END {    print "===================="    print "Ending operator."}#执行结果：$ ./test.sh test.txtBeging operator.====================one     10  20  30two     15  25  20three   20  15  31four    16  26  35five    11  14  40====================Ending operator.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

awk 变量

awk中的用户自定义的变量一般在BEGIN模式中定义；

系统内置变量

awk的常用系统内置变量如下表所示：

变量说明$0当前记录（存放着整个行的内容）$1~$n当前记录的第n个字段，字段间由FS分隔FS输入字段分隔符 默认是空格或TabNF当前记录中的字段个数，就是有多少列NR已经读出的记录数，就是行号，从1开始，如果有多个文件话，这个值也是不断累加中FNR当前记录数，与NR不同的是，这个值会是各个文件自己的行号RS输入的记录分隔符， 默认为换行符OFS输出字段分隔符， 默认也是空格ORS输出的记录分隔符，默认为换行符FILENAME当前输入文件的名字

运算符

awk命令支持常用的运算符：算术运算符、赋值运算符、条件运算符、逻辑运算法、关系运算符等操作；

算术运算符

awk命令直接支持的算术运算符有：加+、减-、乘*、除/、模运算%、指数运算^；

赋值运算符

awk命令常用的赋值运算符有：=、+=、-=、*=、/=、%=、^=；

条件运算符

awk命令的条件运算符语法如下所示：

表达式?值1:值2
1
1

逻辑运算法

awk命令支持的逻辑运算符：&&、||、！；

关系运算符

awk命令支持的关系运算符：>、>=、<、<=、==、！=、~、!~；

awk 函数

awk提供了许多系统函数，用户也可以自定义函数；

字符串函数

常用的字符串函数有：

函数说明index(string1, string2)返回 string2 在string1中第一次出现的位置length(string)返回string的长度match(string,regexp)返回string中符合regexp的子字符串split(string,array,seperator)根据分隔符seperator，将字符串string分隔成多个字段，并存储到数组array中sub(regexp,replacement,string)将字符串string第一个符合regexp的子字符串替换成replacementgsub(regexp,replacement,string)将字符串string中符合regexp的全部子字符串都替换成replacementsubstr(string,start,[length])从字符串string的start位置开始截取长度为length(若指定了length，否则一直截取到字符串string结束)字串

算术函数

常用的算术函数有：int(x)、sqrt(x)、exp(x)、log(x)、sin(x)、cos(x)、rand(x)、srand(x)；