AWK 介绍

一.模式和动作

awk脚本是由模式和操作组成的：pattern {action}

pattern与{action}两者是可选的。如果没有模式，则action应用到全部记录，如果没有action，则输出匹配全部记录。默认情况下，每一个输入行都是一条记录，但用户可通过RS变量指定不同的分隔符进行分隔。

模式可以是以下任意一个：

1. 正则表达式：使用通配符的扩展集。
2. 关系表达式：可以用下面运算符表中的关系运算符进行操作，可以是字符
3. 串或数字的比较，如$2>%1选择第二个字段比第一个字段长的行。
4. 模式匹配表达式：用运算符~(匹配)和~!(不匹配)。
5. BEGIN：让用户指定在第一条输入记录被处理之前所发生的动作，通常可在这里设置全局变量。
6. END：让用户在最后一条输入记录被读取之后发生的动作。

操作 由一个或多个命令、函数、表达式组成，之间由换行符或分号隔开，并位于大括号内。主要有四部份：

1. 变量或数组赋值
2. 输出命令
3. 内置函数
4. 控制流命令

二. 记录和域

记录：awk把每一个以换行符结束的行称为一个记录。

记录分隔符：默认的输入和输出的分隔符都是回车，保存在内建变量ORS和RS中。

$0变量：它指的是整条记录。如$ awk '{print $0}' test将输出test文件中的所有记录。

变量NR：一个计数器，每处理完一条记录，NR的值就增加1。

如$ awk '{print NR,$0}' test将输出test文件中所有记录，并在记录前显示记录号。

域：记录中每个单词称做“域”，默认情况下以空格或tab分隔。awk可跟踪域的个数，并在内建变量NF中保存该值。

如$ awk '{print $1,$3}' test将打印test文件中第一和第三个以空格分开的列(域)。

域分隔符：内建变量FS保存输入域分隔符的值，默认是空格或tab。我们可以通过-F命令行选项修改FS的值。如$ awk -F: '{print $1,$5}' test将打印以冒号为分隔符的第一，第五列的内容。

可以同时使用多个域分隔符，这时应该把分隔符写成放到方括号中，如$awk -F'[:/t]' '{print $1,$3}' test，表示以空格、冒号和tab作为分隔符。

输出域的分隔符默认是一个空格，保存在OFS中。如$ awk -F: '{print $1,$5}' test，$1和$5间的逗号就是OFS的值。

三 . awk内置变量

变量 描述 $n 当前记录的第n个字段，字段间由FS分隔。 $0 完整的输入记录。 ARGC 命令行参数的数目。 ARGIND 命令行中当前文件的位置(从0开始算)。 ARGV 包含命令行参数的数组。 CONVFMT 数字转换格式(默认值为%.6g) ENVIRON 环境变量关联数组。 ERRNO 最后一个系统错误的描述。 FIELDWIDTHS 字段宽度列表(用空格键分隔)。 FILENAME 当前文件名。 FNR 同NR，但相对于当前文件。 FS 字段分隔符(默认是任何空格)。 IGNORECASE 如果为真，则进行忽略大小写的匹配。 NF 当前记录中的字段数。 NR 当前记录数。 OFMT 数字的输出格式(默认值是%.6g)。 OFS 输出字段分隔符(默认值是一个空格)。 ORS 输出记录分隔符(默认值是一个换行符)。 RLENGTH 由match函数所匹配的字符串的长度。 RS 记录分隔符(默认是一个换行符)。 RSTART 由match函数所匹配的字符串的第一个位置。 SUBSEP 数组下标分隔符(默认值是/034)。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

 

 

示例 动态获取文件名：

[root@mysql etc]# echo $PWD |awk -F/ '{print $4}'2 etc3 [root@mysql etc]# echo $PWD |awk -F/ '{print NF}'  #浏览记录的域个数4 45 [root@mysql etc]# echo $PWD |awk -F/ '{print $NF}' #动态获最后一个域(文件命)6 etc7 [root@mysql etc]# 

 

四 . awk操作符

运算符 描述 = += -= *= /= %= ^= **= 赋值 ?: C条件表达式 || 逻辑或 && 逻辑与 ~ ~! 匹配正则表达式和不匹配正则表达式 < <= > >= != == 关系运算符 空格 连接 + - 加，减 * / & 乘，除与求余 + - ! 一元加，减和逻辑非 ^ *** 求幂 ++ -- 增加或减少，作为前缀或后缀 $ 字段引用 in 数组成员

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4.1设置输入域到域变量名

#将$1的值赋给变量ip，ip再与正则匹配-bash-3.2$ awk '{ip=$1;if(ip ~/192.168/) print "IP is" ip  }' access.logIP is192.168.2.1IP is192.168.2.1IP is192.168.2.1-bash-3.2$ 

4.2修改数值域取值

#将$1值 修改为：192.168.2.11-bash-3.2$ awk '{ if( $1=="192.168.2.1") $1="192.168.2.11"; print $1}' access.log192.168.2.11192.168.2.11192.168.2.11-bash-3.2$

4.3 汇总列值

-bash-3.2$ awk '(tot+=$4) { print $4 };END{ print "total is : " tot}' test.txt5013.143155.592142.033000.002000.002000.001000.0013083.415000.00total is : 36394.2-bash-3.2$

4.4 向一行awk命令传值

-bash-3.2$ who | awk '{if ($1 == user) print $1 " you are connected to:" $2}' user=$LOGNAME

4.5 通过while语句实现循环

-bash-3.2$ awk '{ i=1;while(i<NF) {print NF,$i;i++}}' test.txt

4.6 通过for语句实现循环

-bash-3.2$ awk '{ for(i=1;i<NF;i++) {print NF,$i}}' test.txt

注：在awk中调用系统变量必须用单引号，如果是双引号，则表示字符串

五 . 内置的字符串函数

gsub(r,s) 在整个$0中用s替代r,gsub返回值为替换次数      gsub(r,s,t) 在整个t中用s替代r                            index(s,t) 返回s中字符串t的第一位置                     length(s) 返回s长度                                    match(s,r) 测试s是否包含匹配r的字符串                   split(s,a,fs) 在fs上将s分成序列a                           sprint(fmt,exp) 返回经fmt格式化后的exp                       sub(r,s) 用$0中最左边最长的子串代替s                  substr(s,p) 返回字符串s中从p开始的后缀部分               substr(s,p,n) 返回字符串s中从p开始长度为n的后缀部分  

 

 

 

 

 

 

 

 

 

示例：

5.1.gsubawk 'gsub(/^root/,"netseek") {print}' /etc/passwd 将与root开头的root替换为netseekawk 'gsub(/0/,2) {print}' /etc/fstabawk '{print gsub(/0/,2) $0}' /etc/fstab5.2.indexawk 'BEGIN {print index("root","o")}' 查询字符串root中o出现的第一位置awk -F: '$1=="root" {print index($1,"o")" "$1}' /etc/passwdawk -F: '{print index($1,"o") $1}' /etc/passwd5.3.lengthawk -F: '{print length($1)'} /etc/passwdawk -F: '$1=="root" {print length($1)}' /etc/passwd5.4.match (在ANCD中查找C的位置)awk 'BEGIN {print match("ANCD",/C/)}'5.5.split返回字符串数组元素个数awk 'BEGIN {print split("123#456#789", myarray, "#")}'5.6.sub 只能替换指定域的第一个0awk 'sub(/0/,2) {print }' /etc/fstab5.7.substr按照起始位置及长度返回字符串的一部分awk 'BEGIN {print substr("www.linuxtone.org",5,9)}' //第5个字符开始，取9个字符。awk 'BEGIN {print substr("www.linuxtone.org",5)}' //第5个位置开始，取后面的所有.