Shell编程入门总结(正则表达式篇)

Shell编程入门总结(正则表达式篇)

前言：

        最近看鸟哥的linux学习了一下shell编程，一时上手感觉还是比较生疏，所以特地把一些基本常用的知识做了一个总结，总结中并没有涵盖鸟哥书中所有的内容，当然更高级的shell编程也没有涉及，如果对这些内容有兴趣的话可以自行去看看鸟哥的书或者一些相关shell编程的书，在这里博主还是以基础为主。

一、正则表达式规则

关于正则表达式的规则，鸟哥书中的三张表已经总结的很好了，我就直接列在这里查阅了

1.1 基础正则表达式

RE 字符意义与范例^word意义：待搜寻的字串(word)在行首！
范例：搜寻行首为 # 开始的那一行，并列出行号

grep -n '^#' regular_express.txt

word$意义：待搜寻的字串(word)在行尾！
范例：将行尾为 ! 的那一行列印出来，并列出行号

grep -n '!$' regular_express.txt

.意义：代表『一定有一个任意字节』的字符！
范例：搜寻的字串可以是 (eve) (eae) (eee) (e e)， 但不能仅有 (ee) ！亦即 e 与 e 中间『一定』仅有一个字节，而空白字节也是字节！

grep -n 'e.e' regular_express.txt

\意义：跳脱字符，将特殊符号的特殊意义去除！
范例：搜寻含有单引号 ' 的那一行！

grep -n \' regular_express.txt

*意义：重复零个到无穷多个的前一个 RE 字符
范例：找出含有 (es) (ess) (esss) 等等的字串，注意，因为 * 可以是 0 个，所以 es 也是符合带搜寻字串。另外，因为 * 为重复『前一个 RE 字符』的符号， 因此，在 * 之前必须要紧接著一个 RE 字符喔！例如任意字节则为 『.*』 ！

grep -n 'ess*' regular_express.txt

[list]意义：字节集合的 RE 字符，里面列出想要撷取的字节！
范例：搜寻含有 (gl) 或 (gd) 的那一行，需要特别留意的是，在 [] 当中『谨代表一个待搜寻的字节』， 例如『 a[afl]y 』代表搜寻的字串可以是 aay, afy, aly 即 [afl] 代表 a 或 f 或 l 的意思！

grep -n 'g[ld]' regular_express.txt

[n1-n2]意义：字节集合的 RE 字符，里面列出想要撷取的字节范围！
范例：搜寻含有任意数字的那一行！需特别留意，在字节集合 [] 中的减号 - 是有特殊意义的，他代表两个字节之间的所有连续字节！但这个连续与否与 ASCII 编码有关，因此，你的编码需要配置正确(在 bash 当中，需要确定 LANG 与 LANGUAGE 的变量是否正确！) 例如所有大写字节则为 [A-Z]

grep -n '[A-Z]' regular_express.txt

[^list]意义：字节集合的 RE 字符，里面列出不要的字串或范围！
范例：搜寻的字串可以是 (oog) (ood) 但不能是 (oot) ，那个 ^ 在 [] 内时，代表的意义是『反向选择』的意思。 例如，我不要大写字节，则为 [^A-Z]。但是，需要特别注意的是，如果以 grep -n [^A-Z] regular_express.txt 来搜寻，却发现该文件内的所有行都被列出，为什么？因为这个 [^A-Z] 是『非大写字节』的意思， 因为每一行均有非大写字节，例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小写字

grep -n 'oo[^t]' regular_express.txt

\{n,m\}意义：连续 n 到 m 个的『前一个 RE 字符』
意义：若为 \{n\} 则是连续 n 个的前一个 RE 字符，
意义：若是 \{n,\} 则是连续 n 个以上的前一个 RE 字符！ 范例：在 g 与 g 之间有 2 个到 3 个的 o 存在的字串，亦即 (goog)(gooog)

grep -n 'go\{2,3\}g' regular_express.txt

1.2 特殊符号

特殊符号代表意义[:alnum:]代表英文大小写字节及数字，亦即 0-9, A-Z, a-z[:alpha:]代表任何英文大小写字节，亦即 A-Z, a-z[:blank:]代表空白键与 [Tab] 按键两者[:cntrl:]代表键盘上面的控制按键，亦即包括 CR, LF, Tab, Del.. 等等[:digit:]代表数字而已，亦即 0-9[:graph:]除了空白字节 (空白键与 [Tab] 按键) 外的其他所有按键[:lower:]代表小写字节，亦即 a-z[:print:]代表任何可以被列印出来的字节[:punct:]代表标点符号 (punctuation symbol)，亦即：" ' ? ! ; : # $...[:upper:]代表大写字节，亦即 A-Z[:space:]任何会产生空白的字节，包括空白键, [Tab], CR 等等[:xdigit:]代表 16 进位的数字类型，因此包括： 0-9, A-F, a-f 的数字与字节

1.3 扩展正则表达式

RE 字符意义与范例+意义：重复『一个或一个以上』的前一个 RE 字符
范例：搜寻 (god) (good) (goood)... 等等的字串。 那个 o+ 代表『一个以上的 o 』所以，底下的运行成果会将第 1, 9, 13 行列出来。

egrep -n 'go+d' regular_express.txt

?意义：『零个或一个』的前一个 RE 字符
范例：搜寻 (gd) (god) 这两个字串。 那个 o? 代表『空的或 1 个 o 』所以，上面的运行成果会将第 13, 14 行列出来。 有没有发现到，这两个案例( 'go+d' 与 'go?d' )的结果集合与 'go*d' 相同？

egrep -n 'go?d' regular_express.txt

|意义：用或( or )的方式找出数个字串
范例：搜寻 gd 或 good 这两个字串，注意，是『或』！ 所以，第 1,9,14 这三行都可以被列印出来喔！那如果还想要找出 dog 呢？

egrep -n 'gd|good' regular_express.txt
egrep -n 'gd|good|dog' regular_express.txt

()意义：找出『群组』字串
范例：搜寻 (glad) 或 (good) 这两个字串，因为 g 与 d 是重复的，所以， 我就可以将 la 与 oo 列於 ( ) 当中，并以 | 来分隔开来，就可以啦！

egrep -n 'g(la|oo)d' regular_express.txt

()+意义：多个重复群组的判别
范例：将『AxyzxyzxyzxyzC』用 echo 叫出，然后再使用如下的方法搜寻一下！

echo 'AxyzxyzxyzxyzC' | egrep 'A(xyz)+C'

上面的例子意思是说，我要找开头是 A 结尾是 C ，中间有一个以上的 "xyz" 字串的意思

二、正则表达式相关命令

2.1 简单删除替换

tr [-ds] SET1 …

用于删除一段信息中的文字或是进行文字信息的替换

-d：删除信息中的SET1这个字符串

-s：替换重复的字符串

PS：tr也是管道命令

例：

(删除)       cat /etc/passwd | tr –d ‘:’

(替换)       last | tr ‘[a-z]’ ‘[A-Z]’

2.2 egrep

即grep –E，支持扩展正则表达式，用法和grep一样，grep只支持普通正则表达式

2.3 sed工具

sed本身也是一个管道命令，可以分析standardinput的，而且sed还可以将数据进行替换、删除、新增、选取特定行等功能，它的用法如下：

sed [-nefri] [动作] [file]

-n：使用安静模式。只有经过sed处理的哪一行或几行会被列出来

-e：直接在命令行模式上进行sed的动作编辑

-f：直接将sed的动作写在一个文件内，-f filename则可以执行filename内的sed动作

-r：sed的动作支持扩展RE，默认只支持普通

-i：直接修改读取的文件内容，而不由屏幕输出

动作说明：     [n1[,n2]]function

n1，n2：不见得会存在，一般代表选择进行动作的行数，举例来说，如果我的动作是需要再10到20行之间进行的，则”10,20[动作行为]”

function有下面这些参数：

a：新增，a的后面可以接字符串，而这些字符串会在新的一行出现(目前的下一行)

c：替换，c的后面可以接字符串，这些字符串可以替换n1，n2之间的行

d：删除，因为是删除，所有d后面通常不解任何参数

i：插入，i的后面接字符串，出现在目前的前一行

p：打印，也就是选择打印通常与sed–n一起运行

s：替换，可以直接替换工作，通常这个s的动作可以搭配正则表达式，如：1,20s/old/new/g

①  以行为单位的新增/删除功能

例：

(删除)        nl /etc/passwd | sed ‘2,5d’

(新增)        nl /etc/passwd | sed ‘2a drink tea’

②  以行为单位的替代与显示功能

(替换)        nl /etc/passwd | sed ‘2,5c No 2-5 number’

(显示)        nl /etc/passwd | sed –n ‘5,7p’

③  部分数据的查找并替换功能

sed ‘s/要替的字符串/新的字符串/g’

2.4 awk工具

虽然awk不涉及正则表达式，但一样是用于文件格式化处理的，就一起总结过来了，毕竟个人认为这个工具还是十分有用的。相比于sed常常作用于一整行的处理，awk则比较倾向于将一行分成数个”字段”来处理。

awk默认以空格和[Tab]键来分隔每行数据，并以$1,$2,$3…来代表每个字段，另外，$0代表一整行数据。

①  一般用法如下：

awk ‘条件类型1 {动作1} 条件类型2 {动作2} …’ filename

每次按顺序判定条件执行动作

②  awk内置变量

NF      每一行字段总数

NR     目前处理的是”第几行”数据

FS       目前的分隔符，默认为空格

③  awk逻辑运算符

条件类型中支持”>、<、>=、<=、==、!=”逻辑运算符

④  初始设置分隔符

用BEGIN关键字如下例：

cat /etc/passwd | awk ‘BEGIN {FS=”:”} $3<10 {print $1 “\t”$3}’

本文固定链接：http://blog.csdn.net/fyfmfof/article/details/45014833转载请注明出处