awk介绍

整体来说， a w k是所有s h e l l过滤工具中最难掌握的，不知道为什么，也许是其复杂的语法或含义不明确的错误提示信息。在学习a w k语言过程中，就会慢慢掌握诸如Bailing out 和a w k : c m d . L i n e :等错误信息。可以说a w k是一种自解释的编程语言，之所以要在s h e l l中使用a w k是因为a w k本身是学习的好例子，但结合a w k与其他工具诸如g r e p和s e d，将会使s h e l l编程更加容易。

a w k以发展这种语言的人A h o . We n i n b e rg e r和K e r n i g h a m命名。还有n a w k和g a w k，它们扩展了文本特性，a w k语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息。a w k抽取信息后，才能进行其他文本操作。完整的a w k脚本通常用来格式化文本文件中的信息。

1.调用awk

有三种方式调用a w k，第一种是命令行方式，如：

awk [-F field -separator] 'commands' input-file(s)    这里，c o m m a n d s是真正的a w k命令。上面例子中， [ - F域分隔符]是可选的，因为a w k使用空格作为缺省的域分隔符，因此如果要浏览域间有空格的文本，不必指定这个选项，但如果要浏览诸如p a s s w d文件，此文件各域以冒号作为分隔符，则必须指明- F选项，如：

awk -F: 'commands' input-file

第二种方法是将所有a w k命令插入一个文件，并使a w k程序可执行，然后用a w k命令解释器作为脚本的首行，以便通过键入脚本名称来调用它。

第三种方式是将所有的a w k命令插入一个单独文件，然后调用：

awk -f awk-script-file input-files(s)

- f选项指明在文件a w k s c r i p t f i l e中的a w k脚本， i n p u t f i l e ( s )是使用a w k进行浏览的文件名。

2.模式和动作

任何a w k语句都由模式和动作组成。在一个a w k脚本中可能有许多语句。模式部分决定动作语句何时触发及触发事件。处理即对数据进行的操作。如果省略模式部分，动作将时刻保持执行状态。模式可以是任何条件语句或复合语句或正则表达式。模式包括两个特殊字段B E G I N和E N D。使用B E G I N语句设置计数和打印头。B E G I N语句使用在任何文本浏览动作之前，之后文本浏览动作依据输入文件开始执行。E N D语句用来在a w k完成文本浏览动作后打印输出文本总数和结尾状态标志。如果不特别指明模式， a w k总是匹配或打印行数。实际动作在大括号{ }内指明。动作大多数用来打印，但是还有些更长的代码诸如i f和循环（l o o p i n g）语句及循环退出结构。如果不指明采取作， a w k将打印出所有浏览出来的记录。

3.域和记录

a w k执行时，其浏览域标记为$ 1，$ 2 . . . $ n。这种方法称为域标识。使用这些域标识将更容易对域进行进一步处理。使用$ 1 , $ 3表示参照第1和第3域，注意这里用逗号做域分隔。如果希望打印一个有5个域的记录的所有域，不必指明$ 1 , $ 2 , $ 3 , $ 4 , $ 5，可使用$ 0，意即所有域。Aw k浏览时，到达一新行，即假定到达包含域的记录末尾，然后执行新记录下一行的读动作，并重新设置域分隔。注意执行时不要混淆符号$和s h e l l提示符$，它们是不同的。为打印一个域或所有域，使用p r i n t命令。这是一个a w k动作（动作语法用圆括号括起来）。

3.1. 抽取域

真正执行前看几个例子，现有一文本文件g r a d e . t x t，记录了一个称为柔道数据库的行信息。

此文本文件有7个域，即（1）名字、（2）升段日期、（3）学生序号、（4）腰带级别、（5）年龄、（6）目前比赛积分、（7）比赛最高分。因为域间使用空格作为域分隔符，故不必用- F选项划分域，现浏览文件并导出一些数据。在例子中为了利于显示，将空格加宽使各域看得更清晰。

3.2. 保存a w k输出
有两种方式保存s h e l l提示符下a w k脚本的输出。最简单的方式是使用输出重定向符号>文件名，下面的例子重定向输出到文件w o w。

awk '{print $0}' grade.txt > wow

使用这种方法要注意，显示屏上不会显示输出结果。因为它直接输出到文件。只有在保证输出结果正确时才会使用这种方法。它也会重写硬盘上同名数据。

第二种方法是使用t e e命令，在输出到文件的同时输出到屏幕。在测试输出结果正确与否时多使用这种方法。例如输出重定向到文件d e l e t e m e a n d d i e，同时输出到屏幕。使用这种方法，在a w k命令结尾写入| tee delete_me_and_die。

awk '{print $0}' grade.txt | tee delete_me_and_die

3.3. 使用标准输入
在深入讲解这一章之前，先对a w k脚本的输入方法简要介绍一下。实际上任何脚本都是从标准输入中接受输入的。为运行本章脚本，使用a w k脚本输入文件格式，例如：

belt.awk grade_student.txt

也可替代使用下述格式：使用重定向方法：

belt.awk < grade2.txt

或管道方法：

grade2.txt | belts.awk

3.4. 打印所有记录

awk '{print $0}'  grade.txt

a w k读每一条记录。因为没有模式部分，只有动作部分{print $0}(打印所有记录)，这个动
作必须用花括号括起来。上述命令打印整个文件。

3.5. 打印单独记录

假定只打印学生名字和腰带级别，通过查看域所在列，可知为f i e l d - 1和f i e l d - 4，因此可以使用$ 1和$ 4，但不要忘了加逗号以分隔域。

3.6. 打印报告头

上述命令输出在名字和腰带级别之间用一些空格使之更容易划分，也可以在域间使用t a b键加以划分。为加入t a b键，使用t a b键速记引用符\ t，后面将对速记引用加以详细讨论。也可以为输出文本加入信息头。本例中加入n a m e和b e l t及下划线。下划线使用\ n，强迫启动新行，并在\ n下一行启动打印文本操作。打印信息头放置在B E G I N模式部分，因为打印信息头被界定为一个动作，必须用大括号括起来。在a w k查看第一条记录前，信息头被打印。

 

3.7. 打印信息尾

如果在末行加入end of report信息，可使用E N D语句。E N D语句在所有文本处理动作执行完之后才被执行。E N D语句在脚本中的位置放置在主要动作之后。下面简单打印头信息并告之查询动作完成。

3.8. awk错误信息提示
几乎可以肯定，在使用a w k时，将会在命令中碰到一些错误。a w k将试图打印错误行，但由于大部分命令都只在一行，因此帮助不大。系统给出的显示错误信息提示可读性不好。使用上述例子，如果丢了一个双引号， a w k将返回：

当第一次使用a w k时，可能被错误信息搅得不知所措，但通过长时间和不断的学习，可总结出以下规则。在碰到a w k错误时，可相应查找：
• 确保整个a w k命令用单引号括起来。
• 确保命令内所有引号成对出现。
• 确保用花括号括起动作语句，用圆括号括起条件语句。
• 可能忘记使用花括号，也许你认为没有必要，但a w k不这样认为，将按之解释语法。
如果查询文件不存在，将得到下述错误信息：

3.9. awk 键盘输入
如果在命令行并没有输入文件g r a d e . t x t，将会怎样？

B E G I N部分打印了文件头，但a w k最终停止操作并等待，并没有返回s h e l l提示符。这是因为a w k期望获得键盘输入。因为没有给出输入文件， a w k假定下面将会给出。如果愿意，顺序输入相关文本，并在输入完成后敲<Ct r l - D >键。如果敲入了正确的域分隔符， a w k会像第一个例子一样正常处理文本。这种处理并不常用，因为它大多应用于大量的打印稿。

4.元字符

这里是a w k中正则表达式匹配操作中经常用到的字符，详细情况请参阅本书第7章正则表达式概述。
\ ^ $ . [] | () * + ?
这里有两个字符第7章没有讲到，因为它们只适用于a w k而不适用于g r e p或s e d。它们是：
+ 使用+匹配一个或多个字符。
？ 匹配模式出现频率。例如使用/X Y?Z/匹配X Y Z或Y Z。

5.条件操作符

1. 匹配
为使一域号匹配正则表达式，使用符号‘～’后紧跟正则表达式，也可以用i f语句。a w k中i f后面的条件用（）括起来。
观察文件g r a d e . t x t，如果只要打印b r o w n腰带级别可知其所在域为f i e l d - 4，这样可以写出
表达式{if($4~/brown/) print }意即如果f i e l d - 4包含b r o w n，打印它。如果条件满足，则打印匹
配记录行。可以编写下面脚本，因为这是一个动作，必须用花括号{ }括起来。