Linux三剑客之awk精讲

一、awk简介

awk不仅仅时linux系统中的一个命令，而且是一种编程语言，可以用来处理数据和生成报告（excel）。处理的数据可以是一个或多个文件，可以是来自标准输入，也可以通过管道获取标准输入，awk可以在命令行上直接编辑命令进行操作，也可以编写成awk程序来进行更为复杂的运用。本章主要讲解awk命令的运用。

二、工作原理

第一步：执行BEGIN{action;… }语句块中的语句

第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。

第三步：当读至输入流末尾时，执行END{action;…}语句块BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块

pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块

三、awk命令格式和选项

print格式：print item1, item2, …
要点：
•(1) 逗号分隔符
•(2) 输出的各item可以字符串，也可以是数值；当前记录的字段、变量或awk的表达式
•(3) 如省略item，相当于print $0
示例：

awk'{print "hello,awk"}'   #打印输出 hello ，awk awk –F: '{print}' /etc/passwd   #输入全部awk –F: ‘{print “wang”}’ /etc/passwd  #打印/etc/passwd文件中的行数的wangawk –F: ‘{print $1}’ /etc/passwd  #打印第一列awk –F: ‘{print $0}’ /etc/passwd  #打印全部awk –F: ‘{print $1”\t”$3}’ /etc/passwd  #打印第一列和第三列，空格隔开tail –3 /etc/fstab|awk‘{print $2,$4}’  #输出文件最后三行的第二列和第四列

四、awk变量

变量：内置和自定义变量
FS：输入字段分隔符，默认为空白字符

awk-v FS=':' '{print $1,FS,$3}’ /etc/passwdawk–F: '{print $1,$3,$7}’ /etc/passwd

OFS：输出字段分隔符，默认为空白字符

awk-v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd

RS：输入记录分隔符，指定输入时的换行符，原换行符仍有效

awk-v RS=' ' ‘{print }’ /etc/passwd

ORS：输出记录分隔符，输出时用指定符号代替换行符

awk-v RS=' ' -v ORS='###'‘{print }’ /etc/passwd

NF：字段数量

awk-F：‘{print NF}’ /etc/fstab,引用内置变量不用$awk-F: '{print $(NF-1)}' /etc/passwd

NR：行号

awk'{print NR}' /etc/fstab; awkEND'{print NR}' /etc/fstab

FNR：各文件分别计数,行号

awk '{print FNR}' /etc/fstab /etc/inittab

FILENAME：当前文件名

awk '{print FILENAME}’ /etc/fstab

ARGC：命令行参数的个数

awk '{print ARGC}’ /etc/fstab /etc/inittabawk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab

ARGV：数组，保存的是命令行所给定的各参数

awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittabawk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab

自定义变量(区分字符大小写)

(1) -v var=value

(2) 在program中直接定义

示例：

awk-v test='hello gawk' '{print test}' /etc/fstabawk-v test='hello gawk' 'BEGIN{print test}'awk'BEGIN{test="hello,gawk";printtest}'awk–F:‘{sex=“male”;print$1,sex,age;age=18}’ /etc/passwdcat awkscript{print script,$1,$2}awk-F: -f awkscriptscript=“awk” /etc/passwd

五、printf命令

格式化输出：printf“FORMAT”, item1, item2, …
(1) 必须指定FORMAT
(2) 不会自动换行，需要显式给出换行控制符，\n
(3) FORMAT中需要分别为后面每个item指定格式符

格式符：与item一一对应

%c: 显示字符的ASCII码%d, %i: 显示十进制整数%e, %E:显示科学计数法数值%f：显示为浮点数%g, %G：以科学计数法或浮点形式显示数值%s：显示字符串%u：无符号整数%%: 显示%自身

修饰符：

[.#]：第一个数字控制显示的宽度；第二个#表示小数点后精度，%3.1f
-: 左对齐（默认右对齐）%-15s
+：显示数值的正负符号%+d
示例：

•awk-F: ‘{printf"%s",$1}’ /etc/passwd•awk-F: ‘{printf"%s\n",$1}’ /etc/passwd•awk -F: '{printf "%-20s %10d\n",$1,$3}' /etc/passwd•awk -F: ‘{printf "Username: %s\n",$1}’ /etc/passwd•awk-F: ‘{printf“Username: %s,UID:%d\n",$1,$3}’/etc/passwd•awk-F: ‘{printf"Username: %15s,UID:%d\n",$1,$3}’/etc/passwd•awk-F: ‘{printf"Username: %-15s,UID:%d\n",$1,$3}’/etc/passwd

六、操作符

逻辑操作符：与&&，或||，非!
示例：

•awk –F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd•awk -F: '$3==0 || $3>=1000 {print $1}' /etc/passwd•awk -F: ‘!($3==0){print $1}' /etc/passwd•awk -F: ‘!($3>=500) {print $3}’ /etc/passwd

函数调用：function_name(argu1, argu2, …)
条件表达式（三目表达式）：
selector?if-true-expression:if-false-expression
•示例：

awk -F: '{$3>=1000?usertype="Common User":usertype="Sysadmin or SysUser";printf"%15s:%-s\n",$1,usertype}' /etc/passwd

awk PATTERN

PATTERN:根据pattern条件，过滤匹配的行，再做处理
(1)如果未指定：空模式，匹配每一行
(2) /regular expression/：仅处理能够模式匹配到的行，需要用/ /括起来

awk'/^UUID/{print $1}' /etc/fstabawk'!/^UUID/{print $1}' /etc/fstab

(3) relational expression: 关系表达式，结果为“真”才会被处理
真：结果为非0值，非空字符串
假：结果为空字符串或0值
示例：

•awk-F: 'i=1;j=1{print i,j}' /etc/passwd•awk‘!0’ /etc/passwd; awk‘!1’ /etc/passwd•awk–F: '$3>=1000{print $1,$3}' /etc/passwd•awk-F: '$3<1000{print $1,$3}' /etc/passwd•awk-F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd•awk-F: '$NF~ /bash$/{print $1,$NF}' /etc/passwd

(4) line ranges：行范围
startline,endline：/pat1/,/pat2/不支持直接给出数字格式

awk-F: ‘/^root\>/,/^nobody\>/{print $1}' /etc/passwdawk-F: ‘(NR>=10&&NR<=20){print NR,$1}' /etc/passwd

(5) BEGIN/END模式
BEGIN{}: 仅在开始处理文件中的文本之前执行一次
END{}：仅在文本处理完成之后执行一次

•awk -F : 'BEGIN {print "USER USERID"} {print $1":"$3} END{print "end file"}' /etc/passwd•awk -F : '{print "USER USERID“;print $1":"$3} END{print "end file"}' /etc/passwd•awk -F: 'BEGIN{print " USER UID \n---------------"}{print $1,$3}' /etc/passwd•awk -F: 'BEGIN{print " USER UID \n---------------"}{print $1,$3}'END{print "=============="} /etc/passwd•seq 10 |awk ‘i=0’•seq 10 |awk ‘i=1’•seq 10 | awk 'i=!i‘•seq 10 | awk '{i=!i;print i}‘•seq 10 | awk ‘!(i=!i)’•seq 10 |awk -v i=1 'i=!i'

企业面试题:统计域名访问次数

处理以下文件内容，将域名取出并根据域名进行计数排序处理：（百度和sohu面试题）

http://www.etiantian.org/index.htmlhttp://www.etiantian.org/1.htmlhttp://post.etiantian.org/index.htmlhttp://mp3.etiantian.org/index.htmlhttp://www.etiantian.org/3.htmlhttp://post.etiantian.org/2.html

思路：
1）以斜线为菜刀取出第二列（域名）
2）创建一个数组
3）把第二列（域名）作为数组的下标
4）通过类似于i++的形式进行计数
5）统计后把结果输出

过程演示：
第一步：查看一下内容

[root@chensiqi ~]# awk -F "[/]+" '{print $2}' file www.etiantian.orgwww.etiantian.orgpost.etiantian.orgmp3.etiantian.orgwww.etiantian.orgpost.etiantian.org

命令说明：
这是我们需要计数的内容
第二步：计数

[root@chensiqi ~]# awk -F "[/]+" '{i++;print $2,i}' file www.etiantian.org 1www.etiantian.org 2post.etiantian.org 3mp3.etiantian.org 4www.etiantian.org 5post.etiantian.org 6

命令说明：
i++:i最开始是空的，当awk读取一行，i自身+1
第三步：用数组替换i

[root@chensiqi ~]# awk -F "[/]+" '{h[$2]++;print $2,h["www.etiantian.org"]}' file www.etiantian.org 1www.etiantian.org 2post.etiantian.org 2mp3.etiantian.org 2www.etiantian.org 3post.etiantian.org 3

命令说明：
1）将i替换成h[2];相当于我创建了一个数组h[]，然后用2作为我的房间号。但是目前房间里是没有东西的。也就是说

h[$2]=h["www.etiantian.org"] and h["post.etiantian.org"] and h["mp3.etiantian.org"] 

但是具体房间里是没有东西的也就是空。
2）h[$2]++就等于i++：也就是说我开始给房间里加东西；当出现同样的东西，我就++
3）print h[“www.etiantian.org”]:意思就是说我开始要输出了。我要输出的是房间号为“www.etiantian.org”里面的内容。这里面的内容最早是空的，随着awk读取每一行一旦出现房间号为“www.etiantian.org”的房间时，我就给房间里的内容进行++。
4）综上，输出的结果中，每次出现www.etiantian.org时，h[“www.etiantian.org”]就会++。因此最后的输出数字是3
第四步：输出最终计数结果

[root@chensiqi ~]# awk -F "[/]+" '{h[$2]++}END{for(i in h)print i,h[i]}' file mp3.etiantian.org 1post.etiantian.org 2www.etiantian.org 3[root@chensiqi ~]# 

命令说明：
我们最终需要输出的是去重复以后的统计结果，所以得在END模块里进行输出
for（i in h）遍历这个数组，i里存的都是房间号
print i，h[i]：输出每一个房间号及其房间里的内容（计数结果）