Linux私房菜压缩指令与正规表示法 课后练习第十一章

正规表示法就是处理字串的方法，他是以行为单位来进行字串的处理行为， 正规表示法透过一些特殊符号的辅助，可以让使用者轻易的达到『搜寻/删除/取代』某特定字串的处理程序！

正规表示法基本上是一种『表示法』， 只要工具程序支持这种表示法，那么该工具程序就可以用来作为正规表示法的字串处理之用。 例如 vi, grep, awk ,sed 等等工具，这些工具就可以使用正规表示法的特殊字节来进行字串的处理。

 

特殊符号代表意义[:alnum:]代表英文大小写字节及数字，亦即 0-9, A-Z, a-z[:alpha:]代表任何英文大小写字节，亦即 A-Z, a-z[:blank:]代表空白键与 [Tab] 按键两者[:cntrl:]代表键盘上面的控制按键，亦即包括 CR, LF, Tab, Del.. 等等[:digit:]代表数字而已，亦即 0-9[:graph:]除了空白字节 (空白键与 [Tab] 按键) 外的其他所有按键[:lower:]代表小写字节，亦即 a-z[:print:]代表任何可以被列印出来的字节[:punct:]代表标点符号 (punctuation symbol)，亦即：" ' ? ! ; : # $...[:upper:]代表大写字节，亦即 A-Z[:space:]任何会产生空白的字节，包括空白键, [Tab], CR 等等[:xdigit:]代表 16 进位的数字类型，因此包括： 0-9, A-F, a-f 的数字与字节

 

 

grep [-A] [-B] [--color=auto] '搜寻字串' filename

选项与参数：

-A ：后面可加数字，为 after 的意思，除了列出该行外，后续的 n 行也列出来；

-B ：后面可加数字，为 befer 的意思，除了列出该行外，前面的 n 行也列出来；

--color=auto 可将正确的那个撷取数据列出颜色

 

基础正规表示法字符汇整

 

RE 字符意义与范例^word意义：待搜寻的字串(word)在行首！
范例：搜寻行首为 # 开始的那一行，并列出行号

grep -n '^#' regular_express.txt

word$意义：待搜寻的字串(word)在行尾！
范例：将行尾为 ! 的那一行列印出来，并列出行号

grep -n '!$' regular_express.txt

.意义：代表『一定有一个任意字节』的字符！
范例：搜寻的字串可以是 (eve) (eae) (eee) (e e)， 但不能仅有 (ee) ！亦即 e 与 e 中间『一定』仅有一个字节，而空白字节也是字节！

grep -n 'e.e' regular_express.txt

/意义：跳脱字符，将特殊符号的特殊意义去除！
范例：搜寻含有单引号 ' 的那一行！

grep -n /' regular_express.txt

*意义：重复零个到无穷多个的前一个 RE 字符
范例：找出含有 (es) (ess) (esss) 等等的字串，注意，因为 * 可以是 0 个，所以 es 也是符合带搜寻字串。另外，因为 * 为重复『前一个 RE 字符』的符号， 因此，在 * 之前必须要紧接著一个 RE 字符喔！例如任意字节则为 『.*』 ！

grep -n 'ess*' regular_express.txt

[list]意义：字节集合的 RE 字符，里面列出想要撷取的字节！
范例：搜寻含有 (gl) 或 (gd) 的那一行，需要特别留意的是，在 [] 当中『谨代表一个待搜寻的字节』，例如『 a[afl]y 』代表搜寻的字串可以是 aay, afy, aly 即 [afl] 代表 a 或 f 或 l 的意思！

grep -n 'g[ld]' regular_express.txt

[n1-n2]意义：字节集合的 RE 字符，里面列出想要撷取的字节范围！
范例：搜寻含有任意数字的那一行！需特别留意，在字节集合 [] 中的减号 - 是有特殊意义的，他代表两个字节之间的所有连续字节！但这个连续与否与 ASCII 编码有关，因此，你的编码需要配置正确(在 bash 当中，需要确定 LANG 与 LANGUAGE 的变量是否正确！) 例如所有大写字节则为 [A-Z]

grep -n '[A-Z]' regular_express.txt

[^list]意义：字节集合的 RE 字符，里面列出不要的字串或范围！
范例：搜寻的字串可以是 (oog) (ood) 但不能是 (oot) ，那个 ^ 在 [] 内时，代表的意义是『反向选择』的意思。例如，我不要大写字节，则为 [^A-Z]。但是，需要特别注意的是，如果以 grep -n [^A-Z] regular_express.txt 来搜寻，却发现该文件内的所有行都被列出，为什么？因为这个 [^A-Z] 是『非大写字节』的意思，因为每一行均有非大写字节，例如第一行的 "Open Source" 就有 p,e,n,o.... 等等的小写字

grep -n 'oo[^t]' regular_express.txt

/{n,m/}意义：连续 n 到 m 个的『前一个 RE 字符』
意义：若为 /{n/} 则是连续 n 个的前一个 RE 字符，
意义：若是 /{n,/} 则是连续 n 个以上的前一个 RE 字符！ 范例：在 g 与 g 之间有 2 个到 3 个的 o 存在的字串，亦即 (goog)(gooog)

grep -n 'go/{2,3/}g' regular_express.txt

 

管线命令sed

 

sed [-nefr] [动作]

选项与参数：

-n  ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 

      的数据一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过

      sed 特殊处理的那一行(或者动作)才会被列出来。

-e  ：直接在命令列模式上进行 sed 的动作编辑；

-f  ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的  sed 动作；

-r  ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)

-i  ：直接修改读取的文件内容，而不是由萤幕输出。

 

 

动作说明：  [n1[,n2]]function

n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作

         是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』

 

function 有底下这些咚咚：

a   ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～

c   ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！

d   ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；

i   ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；

p   ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～

s   ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配

      正规表示法！例如 1,20s/old/new/g 就是啦！

 

以行为单位的新增/删除功能

删除2-5行

nl /etc/passwd | sed '2,5d'

 

在第二行后(亦即是加在第三行)加上『drink tea?』字样

nl /etc/passwd | sed '2a drink tea'

 

可以新增好几行，但是每一行之间都必须要以反斜线『 / 』来进行新行的添加

 

[root@www ~]# nl /etc/passwd | sed '2a Drink tea or ....../

> drink beer ?'

 

 

以行为单位的取代与显示功能

将第2-5行的内容取代成为『No 2-5 number』

nl /etc/passwd | sed '2,5c No 2-5 number'

 

用sed列出 /etc/passwd 文件内的第 5-7 行

nl /etc/passwd | sed -n '5,7p'

 

部分数据的搜寻并取代的功能

sed 's/要被取代的字串/新的字串/g'

 

利用/sbin/ifconfig eth0 | grep 'inet addr'命令取出来的字串是：

 inet addr:192.168.1.100  Bcast:192.168.1.255  Mask:255.255.255.0

将 IP 前面的部分予以删除

 

[root@www ~]# /sbin/ifconfig eth0 | grep 'inet addr' | /

>  sed 's/^.*addr://g'

 

将 IP 后面的部分予以删除

 

[root@www ~]# /sbin/ifconfig eth0 | grep 'inet addr' | /

>  sed 's/^.*addr://g' | sed 's/Bcast.*$//g'

 

 

延伸正规表示法：

RE 字符意义与范例+意义：重复『一个或一个以上』的前一个 RE 字符
范例：搜寻 (god) (good) (goood)... 等等的字串。 那个 o+ 代表『一个以上的 o 』所以，底下的运行成果会将第 1, 9, 13 行列出来。

egrep -n 'go+d' regular_express.txt

?意义：『零个或一个』的前一个 RE 字符
范例：搜寻 (gd) (god) 这两个字串。 那个 o? 代表『空的或 1 个 o 』所以，上面的运行成果会将第 13, 14 行列出来。有没有发现到，这两个案例( 'go+d' 与 'go?d' )的结果集合与 'go*d' 相同？ 想想看，这是为什么喔！ ^_^

egrep -n 'go?d' regular_express.txt

|意义：用或( or )的方式找出数个字串
范例：搜寻 gd 或 good 这两个字串，注意，是『或』！ 所以，第 1,9,14 这三行都可以被列印出来喔！那如果还想要找出 dog 呢？

egrep -n 'gd|good' regular_express.txt
egrep -n 'gd|good|dog' regular_express.txt

()意义：找出『群组』字串
范例：搜寻 (glad) 或 (good) 这两个字串，因为 g 与 d 是重复的，所以， 我就可以将 la 与 oo 列於 ( ) 当中，并以 | 来分隔开来，就可以啦！

egrep -n 'g(la|oo)d' regular_express.txt

()+意义：多个重复群组的判别
范例：将『AxyzxyzxyzxyzC』用 echo 叫出，然后再使用如下的方法搜寻一下！

echo 'AxyzxyzxyzxyzC' | egrep 'A(xyz)+C'

上面的例子意思是说，我要找开头是 A 结尾是 C ，中间有一个以上的 "xyz" 字串的意思～

 

 

格式化列印： printf

 

[root@www ~]# printf '列印格式' 实际内容

选项与参数：

关於格式方面的几个特殊样式：

       /a    警告声音输出

       /b    倒退键(backspace)

       /f    清除萤幕 (form feed)

       /n    输出新的一行

       /r    亦即 Enter 按键

       /t    水平的 [tab] 按键

       /v    垂直的 [tab] 按键

       /xNN  NN 为两位数的数字，可以转换数字成为字节。

关於 C 程序语言内，常见的变量格式

       %ns   那个 n 是数字， s 代表 string ，亦即多少个字节；

       %ni   那个 n 是数字， i 代表 integer ，亦即多少整数码数；

       %N.nf 那个 n 与 N 都是数字， f 代表 floating (浮点)，如果有小数码数，

             假设我共要十个位数，但小数点有两位，即为 %10.2f 罗！

 

 

 

 sed 常常作用於一整个行的处理， awk 则比较倾向於一行当中分成数个『栏位』来处理。

[root@www ~]# awk '条件类型1{动作1} 条件类型2{动作2} ...' filename

awk 后面接两个单引号并加上大括号 {} 来配置想要对数据进行的处理动作。 awk 可以处理后续接的文件，也可以读取来自前个命令的 standard output 。 但如前面说的， awk 主要是处理『每一行的栏位内的数据』，而默认的『栏位的分隔符号为 "空白键" 或 "[tab]键" 』,取得栏位用$符号，$1...

 

在每一行的每个栏位都是有变量名称的，那就是 $1, $2... 等变量名称。

 

整个 awk 的处理流程是：

 

1、读入第一行，并将第一行的数据填入 $0, $1, $2.... 等变量当中；

2、依据 "条件类型" 的限制，判断是否需要进行后面的 "动作"；

3、做完所有的动作与条件类型；

4、若还有后续的『行』的数据，则重复上面 1~3 的步骤，直到所有的数据都读完为止。

 

 

 awk 的内建变量

变量名称代表意义NF每一行 ($0) 拥有的栏位总数NR目前 awk 所处理的是『第几行』数据FS目前的分隔字节，默认是空白键

 

 

awk 的逻辑运算字节

运算单元代表意义>大於<小於>=大於或等於<=小於或等於==等於!=不等於

 

 

文件或文件夹比对工具：

[root@www ~]# diff [-bBi] from-file to-file

选项与参数：

from-file ：一个档名，作为原始比对文件的档名；

to-file   ：一个档名，作为目的比对文件的档名；

注意，from-file 或 to-file 可以 - 取代，那个 - 代表『Standard input』之意。

 

-b  ：忽略一行当中，仅有多个空白的差异(例如 "about me" 与 "about     me" 视为相同

-B  ：忽略空白行的差异。

-i  ：忽略大小写的不同。

 

cmp

 diff 主要是以『行』为单位比对，cmp 是以『位组』为单位去比对

 

[root@www ~]# cmp [-s] file1 file2

选项与参数：

-s  ：将所有的不同点的位组处都列出来。因为 cmp 默认仅会输出第一个发现的不同点。