awk

来源：互联网发布：九世之仇知乎编辑：程序博客网时间：2024/06/05 23:52

awk：文本处理

awk是linux下的一个命令，他对其他命令的输出，对文件的处理都十分强大，其实他更像一门编程语言，他可以自定义变量，有条件语句，有循环，有数组，有正则，有函数等。他读取输出，或者文件的方式是一行，一行的读，根据你给出的条件进行查找，并在找出来的行中进行操作，感觉他的设计思想，真的很简单，但是结合实际情况，具体操作起来就没有那么简单了。他有三种形势，awk，gawk，nawk，平时所说的awk其实就是gawk。

1，变量

变量描述$n当前记录的第n个字段，字段间由 FS分隔。$0完整的输入记录。ARGC命令行参数的数目。ARGIND命令行中当前文件的位置(从0开始算)。ARGV包含命令行参数的数组。CONVFMT数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组。ERRNO最后一个系统错误的描述。FIELDWIDTHS字段宽度列表(用空格键分隔)。FILENAME当前文件名。FNR同 NR，但相对于当前文件。FS字段分隔符(默认是任何空格)。IGNORECASE如果为真，则进行忽略大小写的匹配。NF当前记录中的字段数。NR当前记录数。OFMT数字的输出格式(默认值是%.6g)。OFS输出字段分隔符(默认值是一个空格)。ORS输出记录分隔符(默认值是一个换行符)。RLENGTH由 match函数所匹配的字符串的长度。RS记录分隔符(默认是一个换行符)。RSTART由 match函数所匹配的字符串的第一个位置。SUBSEP数组下标分隔符(默认值是\034)。

2，运算符

运算符描述= += -= *= /= %= ^= **=赋值?:C条件表达式||逻辑或&&逻辑与~ ~!匹配正则表达式和不匹配正则表达式< <= > >= != ==关系运算符空格连接+ -加，减* / &乘，除与求余+ - !一元加，减和逻辑非^ ***求幂++ --增加或减少，作为前缀或后缀$字段引用in数组成员

3，awk的正则

匹配符描述\Y匹配一个单词开头或者末尾的空字符串\B匹配单词内的空字符串\<匹配一个单词的开头的空字符串，锚定开始\>匹配一个单词的末尾的空字符串，锚定末尾\W匹配一个非字母数字组成的单词\w匹配一个字母数字组成的单词\'匹配字符串末尾的一个空字符串\‘匹配字符串开头的一个空字符串

4，字符串函数

函数名描述sub匹配记录中最大、最靠左边的子字符串的正则表达式，并用替换字符串替换这些字符串。如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的时候gsub整个文档中进行匹配index返回子字符串第一次被匹配的位置，偏移量从位置1开始substr返回从位置1开始的子字符串，如果指定长度超过实际长度，就返回整个字符串split可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供，则按当前FS值进行分割length返回记录的字符数match返回在字符串中正则表达式位置的索引，如果找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位置，RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串toupper和tolower可用于字符串大小间的转换，该功能只在gawk中有效

5，数学函数

函数名返回值atan2(x,y)y,x 范围内的余切cos(x)余弦函数exp(x)求幂int(x)取整log(x)自然对数rand()随机数sin(x)正弦sqrt(x)平方根srand(x)x是rand()函数的种子int(x)取整，过程没有舍入rand()产生一个大于等于0而小于1的随机数

最后更新 2013-04-27 08:46:44
合作编辑者如下：张映

有误，我来改正
(0)

正确
(0)

例1

测试文件test
root:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/bin/falsedaemon:x:2:2:daemon:/sbin:/bin/falsemail:x:8:12:mail:/var/spool/mail:/bin/falseftp:x:14:11:ftp:/home/ftp:/bin/false&nobody:$:99:99:nobody:/:/bin/falsezhangy:x:1000:100:,,,:/home/zhangy:/bin/bashhttp:x:33:33::/srv/http:/bin/falsedbus:x:81:81:System message bus:/:/bin/falsehal:x:82:82:HAL daemon:/:/bin/falsemysql:x:89:89::/var/lib/mysql:/bin/falseaaa:x:1001:1001::/home/aaa:/bin/bashba:x:1002:1002::/home/zhangy:/bin/bashtest:x:1003:1003::/home/test:/bin/bash@zhangying:*:1004:1004::/home/test:/bin/bashpolicykit:x:102:1005:Po
例a
cat test | awk -F: '{\ if ($1 == "root"){\ print $1;\ }else if($1 == "bin"){\ print $2;\ }else{\ print $3;\ } \}'
例b
awk '{\ for(i=0;i<NF;i++){\ if ($i ~/^root/){\ print $i;\ }else if($i ~/zhangy/){\ print $i;continue;\ }else if($i ~/mysql/){\ print $i;next;\ }else if($i ~/^test/){\ print $i;break;\ } \ }\}' test
例c
tail test | awk 'BEGIN{while(getline d){ split(d,test);for(i in test){\ print test[i]\}}}'
例d
ls -al /home/zhangy/mytest | awk 'BEGIN{while(getline d){ split(d,test);\ print test[9] ;}}'
例e
echo "32:34" |awk -F: '{print "max = ",max($1,$2)}\function max(one,two){if(one > two){ return one;}else{ return two;}}'
例f
awk -F: '{mat=match($1,/^[a-zA-Z]+$/);print mat,RSTART,RLENGTH}' test
例g
cat test |awk -F: '\ NF != 7{\printf("line %d,does not have 7 fields:%s\n",NR,$0)}\$1 !~ /^[A-Za-z0-9]/{printf("line %d,non alpha and numeric user id:%s: %s\n",NR,$1,$0)}\$2 == "*" {printf("lind %d,no password:%s\n",NR,$0)}'

最后更新 2013-04-27 08:46:44 - 合作编辑者如下：张映

有误，我来改正
(0)

正确
(0)

例2

测试文件
[root@Blackghost test2]# cat aaa //测试文件aaa1111:23434:zhanghoadsf:asdf:ccc[root@Blackghost test2]# cat ccc  //测试文件ccc1111:23434:zhanghoadsf:asdf:ccctank:zhang:x20342ying:zhasdf:72342hosa:asdfa:2345sdf
例a
[root@Blackghost test2]# awk '{print NR;print FNR;print $0;}' aaa1   //NR1   //FNR1111:23434:zhang22hoadsf:asdf:ccc
例b
[root@Blackghost test2]# awk '{print NR;print FNR;print $0;}' aaa ccc111111:23434:zhang2    //NR2    //FNRhoadsf:asdf:ccc3    //NR1    //FNR   下面的数据是来自ccc，所以NFR重置为11111:23434:zhang42hoadsf:asdf:ccc53tank:zhang:x2034264ying:zhasdf:7234275hosa:asdfa:2345sdf

最后更新 2013-04-27 08:56:44 - 合作编辑者如下：张映

有误，我来改正
(0)

正确
(0)

例3

只显示出现过一次的记录

# cat aaa5931446791599926031160134599926031197343# cat aaa | awk '!a[$1]++'593144679159992603116013497343

最后更新 2014-03-11 14:23:57 - 合作编辑者如下：0730030905

有误，我来改正
(0)

正确
(0)

0 0