linux正则表达式

转载自http://liaoph.com/linux-basic-grep/

Grep 是什么

grep 的全称是 Global Regular Expression Print，它是 Linux 中一个用来进行对文本内容进行搜索和匹配的命令行工具，grep 支持正则表达式，学好 grep 也是学好 awk, sed 等工具的前提。

在 Linux 中最流行的 grep 版本是 GNU grep，实际上 grep 共有三个相关的命令。

grep 命令使用 GNU Basic Regular Expressions syntax 基本正则表达式进行匹配。

egrep 命令相当于 grep -E ，使用GNU Extended Regular Expressions syntax 扩展正则表达式进行匹配。

fgrep 命令相当于 grep -F ，不使用任何正则表达式，直接进行字符串匹配。

Grep 命令的语法

grep [OPTIONS] PATTERN [FILE...]    --color：对匹配的字符串着色打印    -o：只显示被模式匹配到的内容    -c：打印出匹配到字符串的行数    -i：ignore case，不区分字符大小写    -v：显示不能够被模式匹配到的行    -E：使用扩展的正则表达式    -n：打印出匹配字符串的在文件中的行号    -R, -r：递归所有文件夹中的每一个文件    -l：打印出含有匹配字符串的文件名，而不是匹配的内容    -L：打印出没有包含匹配字符串的文件名，与 -l 选项相反    -H：对每个匹配的字符串打印出字符串所在的文件名    -h：不打印匹配字符串所在文件的文件名    -A N：打印匹配字符串的同时打印匹配字符串所有行的前 N 行    -B N：打印匹配字符串的同时打印匹配字符串所在行的后 N 行    -C N：打印匹配字符串的同时打印匹配字符串所在行的前 N 行 和 后 N 行    --exclude=GLOB：跳过 GLOB 匹配的文件名进行搜索    --exclude-dir=DIR：在递归搜索时跳过 DIR 指定的文件夹    注意： grep 是以行为单位进行匹配的，因此如果一个字符串跨越了多行将不能被匹配，使用 -c 选项的统计结果也是行数

范例

打印出匹配的行号

[root@localhost ~]# grep -n "root" /etc/passwd1:root:x:0:0:root:/root:/bin/bash11:operator:x:11:0:operator:/root:/sbin/nologin

仅打印匹配的字符串本身

[root@localhost ~]# grep -o "root" /etc/passwdrootrootrootroot

仅打印匹配到字符串的文件名

[root@localhost ~]# grep -l "root" /etc/passwd /etc/group /etc/profile/etc/passwd/etc/group

不区分大小写匹配

[root@localhost ~]# grep -i "RoOt" /etc/passwdroot:x:0:0:root:/root:/bin/bashoperator:x:11:0:operator:/root:/sbin/nologin

同时打印出匹配字符串所在行的后三行

[root@localhost ~]# grep -A 3 -i "ROOT" /etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologin--operator:x:11:0:operator:/root:/sbin/nologingames:x:12:100:games:/usr/games:/sbin/nologingopher:x:13:30:gopher:/var/gopher:/sbin/nologinftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

正则表达式

在对字符串进行匹配时，直接使用字符串进行匹配固然可行，但是在对复杂的或是按某种规律变化的字符串进行匹配时，直接使用字符串匹配的效率将非常低下。

正则表达式定义了一系列的元字符，定位符等，使用这些特殊字符组成成一种模式，能够匹配更复杂的字符串。

基本正则表达式元字符：

字符匹配：

.：匹配任意单个字符

[]：匹配指定范围内的任意单个字符

[^]：匹配指定范围外的任意单个字符

[0-9]：匹配数组 0-9 的任意一个

[[:digit:]]：匹配任意单个数字

[[:lower:]]：匹配任意单个小写字母

[[:upper:]]： 匹配任意单个大写字母

[[:space:]]：匹配任意单个空白字符

[[:punct:]]：匹配任意单个标点符号

[[:alpha:]]：匹配任意单个英文字母

[[:alnum:]]：匹配任意单个字母或数字

次数匹配：在期望匹配的字符后面提供一个控制符，用于表达匹配其前面字符指定的次数

* : 匹配前面的字符任意次

.*：匹配任意次 .，即匹配任意长度的任意字符

? ：匹配前面的字符 0 次或者 1 次

+ ： 匹配前面的字符 1 次或多次

{m}：匹配前面的字符 m 次

{m,n}：匹配前面的字符至少 m 次，至多 n 次

{m,}：匹配前面的字符至少 m 次

{,n}：匹配前面的字符至多 n 次

位置锚定：

^：匹配行首

$：匹配行尾

\< 或 \b：匹配词首

\> 或 \b：匹配词尾

分组：

可以使用括号将一组字符括起来，表示这一组字符被当作一个整体，还可以使用 \1, \2 对前面括号匹配所匹配的字符串进行引用。

基本正则表达式和扩展正则表达式的区别在于，基本正则表达式中很多元字符需要先使用 \ 进行转义，为了方便，在使用正则表达式时建议直接使用 egrep 或者 grep -E，以免使用过多的转义符。

示例：

这里使用一个示例文件进行演示：

[root@localhost ~]# cat mysampledata.txt Fred apples 20Susy oranges 5Mark watermellons 12Robert pears 4Terry oranges 9Lisa peaches 7Susy oranges 12Mark grapes 39Anne mangoes 7Greg pineapples 3Oliver rockmellons 2Betty limes 14

这里演示了次数匹配 {} 的用法

[root@localhost ~]# egrep '[aeiou]{2,}' mysampledata.txtRobert pears 4Lisa peaches 7Anne mangoes 7Greg pineapples 3

+ 表示能够匹配前面的字符 1 次或多次

[root@localhost ~]# egrep '2.+' mysampledata.txtFred apples 20

匹配 "2" 在行尾的行

[root@localhost ~]# egrep '2$' mysampledata.txtMark watermellons 12Susy oranges 12Oliver rockmellons 2

匹配 "or" 或 "go" 或 "is" 字符串

[root@localhost ~]# egrep 'or|is|go' mysampledata.txtSusy oranges 5Terry oranges 9Lisa peaches 7Susy oranges 12Anne mangoes 7

匹配以 A - K 中任意字符开头的行

[root@localhost ~]# egrep '^[A-K]' mysampledata.txtFred apples 20Anne mangoes 7Greg pineapples 3Betty limes 14

几个复杂的例子

使用 echo 输出一个绝对路径，使用 grep 去除其基名：

echo "/etc/sysconfig/" | grep -E -o  "[[:alnum:]]+/?$" | tr -d '/'

写一个模式，能匹配合理的IP地址

egrep "\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-3][0-9])\>\.(\<([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>\.){2}\<([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>"

正则表达式全部符号解释

字符描述\将下一个字符标记为一个特殊字符、或一个原义字符、或一个 向后引用、或一个八进制转义符。例如，'n' 匹配字符 "n"。'\n' 匹配一个换行符。序列 '\\' 匹配 "\" 而 "\(" 则匹配 "("。^匹配输入字符串的开始位置。如果设置了 RegExp 对象的 Multiline 属性，^ 也匹配 '\n' 或 '\r' 之后的位置。$匹配输入字符串的结束位置。如果设置了RegExp 对象的 Multiline 属性，$ 也匹配 '\n' 或 '\r' 之前的位置。*匹配前面的子表达式零次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。* 等价于{0,}。+匹配前面的子表达式一次或多次。例如，'zo+' 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等价于 {1,}。?匹配前面的子表达式零次或一次。例如，"do(es)?" 可以匹配 "do" 或 "does" 中的"do" 。? 等价于 {0,1}。{n}n 是一个非负整数。匹配确定的 n 次。例如，'o{2}' 不能匹配 "Bob" 中的 'o'，但是能匹配 "food" 中的两个 o。{n,}n 是一个非负整数。至少匹配n 次。例如，'o{2,}' 不能匹配 "Bob" 中的 'o'，但能匹配 "foooood" 中的所有 o。'o{1,}' 等价于 'o+'。'o{0,}' 则等价于 'o*'。{n,m}m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，"o{1,3}" 将匹配 "fooooood" 中的前三个 o。'o{0,1}' 等价于 'o?'。请注意在逗号和两个数之间不能有空格。?当该字符紧跟在任何一个其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串 "oooo"，'o+?' 将匹配单个 "o"，而 'o+' 将匹配所有 'o'。.匹配除 "\n" 之外的任何单个字符。要匹配包括 '\n' 在内的任何字符，请使用象 '[.\n]' 的模式。(pattern)匹配 pattern 并获取这一匹配。所获取的匹配可以从产生的 Matches 集合得到，在VBScript 中使用 SubMatches 集合，在JScript 中则使用 $0…$9 属性。要匹配圆括号字符，请使用 '\(' 或 '\)'。(?:pattern)匹配 pattern 但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。这在使用 "或" 字符 (|) 来组合一个模式的各个部分是很有用。例如， 'industr(?:y|ies) 就是一个比 'industry|industries' 更简略的表达式。(?=pattern)正向预查，在任何匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如，'Windows (?=95|98|NT|2000)' 能匹配 "Windows 2000" 中的 "Windows" ，但不能匹配 "Windows 3.1" 中的 "Windows"。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。(?!pattern)负向预查，在任何不匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如'Windows (?!95|98|NT|2000)' 能匹配 "Windows 3.1" 中的 "Windows"，但不能匹配 "Windows 2000" 中的 "Windows"。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始x|y匹配 x 或 y。例如，'z|food' 能匹配 "z" 或 "food"。'(z|f)ood' 则匹配 "zood" 或 "food"。[xyz]字符集合。匹配所包含的任意一个字符。例如， '[abc]' 可以匹配 "plain" 中的 'a'。[^xyz]负值字符集合。匹配未包含的任意字符。例如， '[^abc]' 可以匹配 "plain" 中的'p'。[a-z]字符范围。匹配指定范围内的任意字符。例如，'[a-z]' 可以匹配 'a' 到 'z' 范围内的任意小写字母字符。[^a-z]负值字符范围。匹配任何不在指定范围内的任意字符。例如，'[^a-z]' 可以匹配任何不在 'a' 到 'z' 范围内的任意字符。\b匹配一个单词边界，也就是指单词和空格间的位置。例如， 'er\b' 可以匹配"never" 中的 'er'，但不能匹配 "verb" 中的 'er'。\B匹配非单词边界。'er\B' 能匹配 "verb" 中的 'er'，但不能匹配 "never" 中的 'er'。\cx匹配由 x 指明的控制字符。例如， \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 'c' 字符。\d匹配一个数字字符。等价于 [0-9]。\D匹配一个非数字字符。等价于 [^0-9]。\f匹配一个换页符。等价于 \x0c 和 \cL。\n匹配一个换行符。等价于 \x0a 和 \cJ。\r匹配一个回车符。等价于 \x0d 和 \cM。\s匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。\S匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。\t匹配一个制表符。等价于 \x09 和 \cI。\v匹配一个垂直制表符。等价于 \x0b 和 \cK。\w匹配包括下划线的任何单词字符。等价于'[A-Za-z0-9_]'。\W匹配任何非单词字符。等价于 '[^A-Za-z0-9_]'。\xn匹配 n，其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如，'\x41' 匹配 "A"。'\x041' 则等价于 '\x04' & "1"。正则表达式中可以使用 ASCII 编码。.\num匹配 num，其中 num 是一个正整数。对所获取的匹配的引用。例如，'(.)\1' 匹配两个连续的相同字符。\n标识一个八进制转义值或一个向后引用。如果 \n 之前至少 n 个获取的子表达式，则 n 为向后引用。否则，如果 n 为八进制数字 (0-7)，则 n 为一个八进制转义值。\nm标识一个八进制转义值或一个向后引用。如果 \nm 之前至少有 nm 个获得子表达式，则 nm 为向后引用。如果 \nm 之前至少有 n 个获取，则 n 为一个后跟文字 m 的向后引用。如果前面的条件都不满足，若 n 和 m 均为八进制数字 (0-7)，则 \nm 将匹配八进制转义值 nm。\nml如果 n 为八进制数字 (0-3)，且 m 和 l 均为八进制数字 (0-7)，则匹配八进制转义值 nml。\un匹配 n，其中 n 是一个用四个十六进制数字表示的 Unicode 字符。例如， \u00A9 匹配版权符号 (?)。