9、Linux正则表达式基础

主要命令：grep, sed, awk

正则表达式

* 通配符
如：shi*
* 表示匹配前面的子表达式（i）零次或多次
比如它可以匹配”sh”,”shii”,”shish”,”shiishi”等等
所以它可以匹配”shiyanlou”，和”shilouyan”两个字符。

基本语法

选择：
| 竖直分隔符表示选择，例如”boy|girl”可以匹配”boy”或”girl”

数量限定：
数量限定除了我们举例用的*,还有+加号,?问号,如果在一个模式中不加数量限定符则表示出现一次且仅出现一次：

• +表示前面的字符必须出现至少一次(1次或多次)，例如，”goo+gle”,可以匹配”gooogle”,”goooogle”等；
• ?表示前面的字符最多出现一次(0次或1次)，例如，”colou?r”,可以匹配”color”或者”colour”;
• *星号代表前面的字符可以不出现，也可以出现一次或者多次（0次、或1次、或多次），例如，“0*42”可以匹配42、042、0042、00042等。

范围和优先级：
()圆括号可以用来定义模式字符串的范围和优先级，这可以简单的理解为是否将括号内的模式串作为一个整体。例如，”gr(a|e)y”等价于”gray|grey”，（这里体现了优先级，竖直分隔符用于选择a或者e而不是gra和ey），”(grand)?father”匹配father和grandfather（这里体验了范围，?将圆括号内容作为一个整体匹配）。

语法（部分）：

字符 描述 \ 将下一个字符标记为一个特殊字符、或一个原义字符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。序列“\”匹配“\”而“(”则匹配“(”。 ^ 匹配输入字符串的开始位置。 $ 匹配输入字符串的结束位置。 {n} n是一个非负整数。匹配确定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的两个o。 {n,} n是一个非负整数。至少匹配n次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。 {n,m} m和n均为非负整数，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。 * 匹配前面的子表达式零次或多次。例如，zo*能匹配“z”、“zo”以及“zoo”。*等价于{0,}。 + 匹配前面的子表达式一次或多次。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等价于{1,}。 ? 匹配前面的子表达式零次或一次。例如，“do(es)?”可以匹配“do”或“does”中的“do”。?等价于{0,1}。 ? 当该字符紧跟在任何一个其他限制符（*,+,?，{n}，{n,}，{n,m}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串“oooo”，“o+?”将匹配单个“o”，而“o+”将匹配所有“o”。 . 匹配除“\n”之外的任何单个字符。要匹配包括“\n”在内的任何字符，请使用像“(.｜\n)”的模式。 (pattern) 匹配pattern并获取这一匹配的子字符串。该子字符串用于向后引用。要匹配圆括号字符，请使用“(”或“)”。 x｜y 匹配x或y。例如，“z｜food”能匹配“z”或“food”。“(z｜f)ood”则匹配“zood”或“food”。 [xyz] 字符集合（character class）。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”。其中特殊字符仅有反斜线\保持特殊含义，用于转义字符。其它特殊字符如星号、加号、各种括号等均作为普通字符。脱字符^如果出现在首位则表示负值字符集合；如果出现在字符串中间就仅作为普通字符。连字符 - 如果出现在字符串中间表示字符范围描述；如果如果出现在首位则仅作为普通字符。 [^xyz] 排除型（negate）字符集合。匹配未列出的任意字符。例如，“[^abc]”可以匹配“plain”中的“plin”。 [a-z] 字符范围。匹配指定范围内的任意字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。 [^a-z] 排除型的字符范围。匹配任何不在指定范围内的任意字符。例如，“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。

优先级：
优先级为从上到下从左到右，依次降低

运算符 说明 \ 转义符 (), (?:), (?=), [] 括号和中括号 *、+、?、{n}、{n,}、{n,m} 限定符 ^、$、\任何元字符 定位点和序列 ｜ 选择

grep模式匹配命令

基本操作
grep命令用于打印输出文本中匹配的模式串，它使用正则表达式作为模式匹配的条件，grep支持三种正则表达式引擎，，分别用三个参数指定：

参数 说明 -E POSIX扩展正则表达式，ERE -G POSIX基本正则表达式，BRE -P Perl正则表达式，PCRE

在通过grep命令使用正则表达式之前，先介绍一下它的常用参数：

参数 说明 -b 将二进制文件作为文本来进行匹配 -c 统计以模式匹配的数目 -i 忽略大小写 -n 显示匹配文本所在行的行号 -v 反选，输出不匹配行的内容 -r 递归匹配查找 -A n n为正整数，表示after的意思，除了列出匹配行之外，还列出后面的n行 -B n n为正整数，表示before的意思，除了列出匹配行之外，还列出前面的n行 –color=auto 将输出中的匹配项设置为自动颜色显示

使用正则表达式
使用基本正则表达式，BRE：

• 位置
  grep ‘shiyanlou’ /etc/group
  grep ‘^shiyanlou’ /etc/group

• 数量

 # 将匹配以'z'开头以'o'结尾的所有字符串$ echo 'zero\nzo\nzoo' | grep 'z.*o'# 将匹配以'z'开头以'o'结尾，中间包含一个任意字符的字符串$ echo 'zero\nzo\nzoo' | grep 'z.o'# 将匹配以'z'开头,以任意多个'o'结尾的字符串$ echo 'zero\nzo\nzoo' | grep 'zo*'

• 选择

# grep默认是区分大小写的，这里将匹配所有的小写字母$ echo '1234\nabcd' | grep '[a-z]'# 将匹配所有的数字$ echo '1234\nabcd' | grep '[0-9]'# 将匹配所有的数字$ echo '1234\nabcd' | grep '[[:digit:]]'# 将匹配所有的小写字母$ echo '1234\nabcd' | grep '[[:lower:]]'# 将匹配所有的大写字母$ echo '1234\nabcd' | grep '[[:upper:]]'# 将匹配所有的字母和数字，包括0-9,a-z,A-Z$ echo '1234\nabcd' | grep '[[:alnum:]]'# 将匹配所有的字母$ echo '1234\nabcd' | grep '[[:alpha:]]'

下面包含完整的特殊符号及说明：

特殊符号 说明 [:alnum:] 代表英文大小写字节及数字，亦即 0-9, A-Z, a-z [:alpha:] 代表任何英文大小写字节，亦即 A-Z, a-z [:blank:] 代表空白键与 [Tab] 按键两者 [:cntrl:] 代表键盘上面的控制按键，亦即包括 CR, LF, Tab, Del.. 等等 [:digit:] 代表数字而已，亦即 0-9 [:graph:] 除了空白字节 (空白键与 [Tab] 按键) 外的其他所有按键 [:lower:] 代表小写字节，亦即 a-z [:print:] 代表任何可以被列印出来的字节 [:punct:] 代表标点符号 (punctuation symbol)，亦即：” ’ ? ! ; : # $… [:upper:] 代表大写字节，亦即 A-Z [:space:] 任何会产生空白的字节，包括空白键, [Tab], CR 等等 [:xdigit:] 代表 16 进位的数字类型，因此包括： 0-9, A-F, a-f 的数字与字节

注意：之所以要使用特殊符号，是因为上面的[a-z]不是在所有情况下都管用，这还与主机当前的语系有关，即设置在LANG环境变量的值，zh_CN.UTF-8的话[a-z]，即为所有小写字母，其它语系可能是大小写交替的如，”a A b B…z Z”，[a-z]中就可能包含大写字母。所以在使用[a-z]时请确保当前语系的影响，使用[:lower:]则不会有这个问题。

# 排除字符$ echo 'geek|good' | grep '[^o]'

注意:当^放到中括号内为排除字符，否则表示行首。

使用扩展正则表达式，ERE：
要通过grep使用扩展正则表达式需要加上-E参数，或使用egrep。

• 数量

# 只匹配"zo"$ echo 'zero\nzo\nzoo' | grep -E 'zo{1}'zozo# 匹配以"zo"开头的所有单词$ echo 'zero\nzo\nzoo' | grep -E 'zo{1,}'zozoo

• 选择

# 匹配"www.shiyanlou.com"和"www.google.com"$ echo 'www.shiyanlou.com\nwww.baidu.com\nwww.google.com' | grep -E 'www\.(shiyanlou|google)\.com'# 或者匹配不包含"baidu"的内容$ echo 'www.shiyanlou.com\nwww.baidu.com\nwww.google.com' | grep -Ev 'www\.baidu\.com'均输出：www.shiyanlou.comwww.google.com

注意：因为.号有特殊含义，所以需要转义。

关于正则表达式和grep命令的内容就介绍这么多，下面会介绍两个更强大的工具sed和awk，但同样也正是因为这两个工具的强大，我们的内容无法包含它们的全部，这里将只对基本内容作介绍。

sed流编辑器

sed工具在 man 手册里面的全名为”sed - stream editor for filtering and transforming text “，意即，用于过滤和转换文本的流编辑器。

在 Linux/UNIX 的世界里敢称为编辑器的工具，大都非等闲之辈，比如前面的”vi/vim(编辑器之神)”,”emacs(神的编辑器)”,”gedit”这些个编辑器。sed与上述的最大不同之处在于它是一个非交互式的编辑器

sed常用参数介绍

test文件如下：www.shiyanlou.comwww.baidu.comwww.google.comhello worldmy name is ankele输入命令：sed -i '1s/com/happy' #表示直接将test文件中第一行的com替换成happy

常用参数还是用 man 查看比较好

sed编辑器的执行命令（这里‘执行’解释为名词）
sed执行命令格式：

[n1][,n2]command[n1][~step]command#其中一些命令可以在后面加上作用范围，形如：$ sed -i 's/sad/happy/g' test #g表示全局范围$ sed -i 's/sad/happy/4' test #4表示指定行中的第四个匹配字符串

其中n1,n2表示输入内容的行号，它们之间为,逗号则表示从n1到n2行，如果为～波浪号则表示从n1开始以step为步进的所有行；command为执行动作，下面为一些常用动作指令：

命令 说明 s 行内替换 c 整行替换 a 插入到指定行的后面 i 插入到指定行的前面 p 打印指定行，通常与-n参数配合使用 d 删除指定行

呕，不，太难了，::>_<::

sed操作举例
我们先找一个用于练习的文本文件
$ cp /etc/passwd ~
打印指定行：

# 打印2-5行$ nl passwd | sed -n '2,5p'# 打印奇数行$ nl passwd | sed -n '1~2p'

行内替换：

# 将输入文本中"shiyanlou" 全局替换为"hehe",并只打印替换的那一行，注意这里不能省略最后的"p"命令$ sed -n 's/shiyanlou/hehe/gp' passwd

行间替换：

awk文本处理语言