linux awk 内置变量实例

awk 是一门非常优秀的文本处理工具，甚至可以上升作为一门程序设计语言。

它处理文本的速度是快得惊人的，现在很多基于shell 日志分析工具都可以用它完成。特点是设计简单，速度表现很好，本文将介绍awk内置变量。

格式： awk [ -F re] [parameter...] ['pattern {action}' ] [-f progfile][in_file...]

一、内置变量

属 性说 明$0当前记录行，代表一行记录$1~$n当前记录的第n个字段，字段间由FS分隔FS输入字段分隔符，默认是空格NF当前记录中的字段个数，就是有多少列，一般取最后一列字段NR已经读出的记录数，就是行号，从1开始RS输入的记录分隔符，默认为换行符OFS输出字段分隔符，默是空格ORS输出的记录分隔符，默认为换行符ARGC命令行参数个数ARGV命令行参数数组FILENAME当前输入文件的名字IGNORECASE如果为真，则进行忽略大小写的匹配ARGIND当前被处理文件的ARGV标志符CONVFMT数字转换格式 %.6gENVIRONUNIX环境变量ERRNOUNIX系统错误消息FIELDWIDTHS输入字段宽度的空白分隔字符串FNR当前记录数OFMT数字的输出格式 %.6gRSTART被匹配函数匹配的字符串首RLENGTH被匹配函数匹配的字符串长度SUBSEP\034

二、 变量实例

1） 常用操作

awk '/^root/ {print $0}' /etc/passwd

结果： root:x:0:0:root:/root:/bin/bash                       #  /^root/ 为正则过滤表达式，$0代表是逐行

2） FS 分隔符

awk 'BEGIN{FS=":"} /^root/ {print $1,$NF}' /etc/passwd

结果： root /bin/bash            

注： FS为字段分隔符，默认是空格。因为passwd里是”:”分隔，所以需要修改默认分隔符。NF是字段总数，$0代表当前行记录，$1-$n是当前行各个字段对应值，$NF代表最后一列。

3） 记录条数（NR，FNR）

awk 'BEGIN{FS=":"}{print NR, $1, $NF, "\t", $0}' /etc/passwd

结果：

1 root /bin/bash   root:x:0:0:root:/root:/bin/bash
2 daemon /bin/sh   daemon:x:1:1:daemon:/usr/sbin:/bin/sh
3 bin /bin/sh   bin:x:2:2:bin:/bin:/bin/sh
4 sys /bin/sh   sys:x:3:3:sys:/dev:/bin/sh
5 sync /bin/sync   sync:x:4:65534:sync:/bin:/bin/sync

........

awk 'BEGIN{FS=":"}/^s/{print NR, $1, $NF, "\t", $0}' /etc/passwd                   # 过滤以首字符”s“开头的所有行

结果： 

4 sys /bin/sh   sys:x:3:3:sys:/dev:/bin/sh
5 sync /bin/sync   sync:x:4:65534:sync:/bin:/bin/sync
20 syslog /bin/false   syslog:x:101:103::/home/syslog:/bin/false

........

注： NR得到当前记录所在行

4） 字段分隔符（OFS）

awk 'BEGIN{FS=":"; OFS="##"} /^root/ {print FNR, $1, $NF}' /etc/passwd

结果： 1##root##/bin/bash

注： OFS设置默认字段分隔符， FNR当前记录行

5） 行记录分隔符（ORS）

awk 'BEGIN{FS=":"; ORS="##"}{print FNR, $1, $NF}' /etc/passwd

结果： 1 root /bin/bash##2 daemon /bin/sh##3 bin /bin/sh##4 sys /bin/sh##5 sync /bin/sync##......

awk 'BEGIN{FS=":"; ORS="\n"}{print FNR, $1, $NF}' /etc/passwd                  #    "/n" 是linux 中换行符

结果：

1 root /bin/bash
2 daemon /bin/sh
3 bin /bin/sh
4 sys /bin/sh
5 sync /bin/sync

.......

注：  ORS默认是换行符，这里修改为：”##”，所有行之间用”##”分隔了

6） 参数获取（ARGC ，ARGV）

awk 'BEGIN{FS=":"; print "ARGC="ARGC; for(k in ARGV) {print k"="ARGV[k];}}' /etc/passwd

结果： 

ARGC=2
0=awk
1=/etc/passwd

注： ARGC得到所有输入参数个数，ARGV获得输入参数内容是一个数组

7） 获得传入的文件名（FILENAME）

awk 'BEGIN{FS=":";}/^r/ {print FILENAME, "\t", $0}' /etc/passwd

结果：

/etc/passwd   root:x:0:0:root:/root:/bin/bash
/etc/passwd   rtkit:x:110:117:RealtimeKit,,,:/proc:/bin/false

注： FILENAME, $0-$N,NF 不能使用在BEGIN中，BEGIN中不能获得任何与文件记录操作的变量

8） 获得linux环境变量（ENVIRON）

awk 'BEGIN{print ENVIRON["PATH"];}' /etc/passwd

结果： /home/homer/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games

注：  ENVIRON是子典型数组，可以通过对应键值获得它的值，linux 环境变量还有$HOME，$PWD等，可以通过linux 命令 env 查看

9） 输出数据格式设置（OFMT）

awk 'BEGIN{OFMT="%.3f"; print 1, 2.0, 3.1, 2/3, 123.11111111;}' /etc/passwd

结果： 1    2    3.100    0.667    123.111

注： OFMT默认输出格式是：%.6g 保留六位小数，这里修改OFMT会修改默认数据输出格式，如保留三位小数

10） 按宽度指定分隔符（FIELDWIDTHS）

echo 20130108122448 | awk 'BEGIN{FIELDWIDTHS="4 2 2 2 2 3"}{print $1"-"$2"-"$3, $4":"$5":"$6}'

结果： 2013-01-08 12:24:48

注： FIELDWIDTHS其格式为空格分隔的一串数字，用以对记录进行域的分隔，FIELDWIDTHS="4 2 2 2 2 2"就表示$1宽度是4，$2是2，$3是2 .... 这个时候会忽略FS分隔符

11） RSTART，RLENGTH使用

awk 'BEGIN{start=match("this is 1 teststr", /[a-z]+$/); print start, RSTART, RLENGTH }'

结果： 11 11 7

awk 'BEGIN{start=match("this is a test",/^[a-z ]+$/); print start, RSTART, RLENGTH }'

结果： 0 0 -1

awk 'BEGIN{start=match("this is a test",/^[a-z ]+$/); print start, RSTART, RLENGTH }'

结果： 1 1 14                 # 增加了一个空格“ ”匹配

注： RSTART 被匹配正则表达式首位置，RLENGTH 匹配字符长度，没有找到为-1

三、外部变量

1） 基本用法

awk 中两个特别的表达式，BEGIN和END

这两者都可用于pattern中，提供BEGIN和END的作用是给程序赋予 初始状态 和 程序结束 之后执行一些扫尾的工作。

a） 任何在BEGIN之后列出的操作（在{}内），将在awk开始扫描输入之前执行

b） 任何在END之后列出的操作，将在扫描完全部的输入之后执行

因此，通常使用BEGIN来显示变量和初始化变量，使用END来输出最终结果。

示例： echo 'awk test' | awk 'BEGIN{print "start...."} {print $0} END{print "end...."}'

结果： 

start....
awk test
end....

2） 获取外部变量

格式如： awk ‘{action}’ 变量名=变量值 ，这样传入变量可以在action中获得值。

示例： 

test='awk test'

echo | awk  '{print test}' test="$test"

结果： awk test

echo | awk  test="$test" '{print test}'

结果： awk: cmd. line:1: fatal: cannot open file `{print test}' for reading (No such file or directory)

注：变量名与值放到’{action}’后面，即 test="$test" 在 print 后面

3） BEGIN程序块中变量

格式如：awk –v 变量名=变量值 [–v 变量2=值2 …] 'BEGIN{action}’ 

示例：

test='awk test'

echo | awk -v test="$test" 'BEGIN{print test}'

结果： awk test

echo | awk -v test="$test" '{print test}'

结果： awk test

注：用-v 传入变量，可以在3中类型的action 中都可以获得到，但顺序在 action前面

4） 外部环境变量

awk  'BEGIN{for (i in ENVIRON) {print i"="ENVIRON[i];}}'

结果：

HLVL=1
PWD=/home/homer
JAVA_HOME=/home/homer/eclipse/jdk1.7.0_05
SHELL=/bin/bash

PATH=/home/homer/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games

..........

注：  ENVIRON是子典型数组，可以通过对应键值获得它的值，linux 环境变量还有$HOME，$PWD等，可以通过linux 命令 env 查看