shell三剑客之一AWK的使用

AWK简介：

AWK是一个强大的文本分析工具， 相对于其它两个grep和sed的编辑，AWK对数据的分析和处理，凸显其特性，AWK的命名来 源于它的创始者,(Alfred Aho 、Peter Weinberger 和 Brain)

以下是AWK的三个版本

原始的AWK

新的NAWK

POSIX/GNU版本的GAWK

基本语法：

awk ‘{pattern action}’ {filenames}

尽管操作可能会复杂，但是语法是这样的简单，其中pattern表示AWK在数据中查找的内容，而action是在找到匹配内容时所执行的一系列命令。花括号‘{}’不需要始终出现，但它们用于根据特定的模式对一系列指令进分组。pattern也可以用正则表达式，使用的时候需要向sed一样用“/ /”

awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他 文本操作。完整的awk脚本通常用来格式化文本文件中的信息。

使用AWK

1、模式AWK [ -F ]  'commands'  file

    F区域分隔符是可选的，默认的情况下是以空格和制表符分隔 commands是命            令，file是指定的文件：

例如：

[root@localhost python]# last -n 3

root     pts/0        192.168.126.1    Wed Jan  6 18:31   still logged in   
root     pts/0         :0                       Wed Jan  6 18:02 - 18:03  (00:00)    
root     :0             :0                       Wed Jan  6 18:02   still logged in

如果只显示最近登录的账号：

[root@localhost python]# last -n 3 | awk '{print $1}'

root
root
root

shell脚本方式

将所有的AWK命令插入一个文件，并使用AWK程序可执行，然后AWK命令解释器作为脚本的首行，一遍通过键入脚本名称来调用头文件中用#!/bin/awk 代#!/bin/sh

 

例题：

1、如果只是显示/etc/passwd的账户

#cat /etc/passwd |awk  -F ':'  '{print $1}' 

root

daemon

bin

sys

这种是awk+action的示例，每行都会执行action{print $1}。

-F指定域分隔符为':'。

 2、如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以tab键分割

#cat /etc/passwd |awk  -F ':'  '{print $1"\t"$7}'

root    /bin/bash

daemon  /bin/sh

bin     /bin/sh

sys     /bin/sh

如果只是显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"。

3、cat /etc/passwd |awk -F ':'  'BEGIN {print "name,shell"}{print $1 "," $7}{END {print "blue,/bin/nosh"}'

name,shellroot,/bin/bash

daemon,/bin/sh

bin,/bin/sh

sys,/bin/sh....

blue,/bin/nosh

搜索/etc/passwd有root关键字的所有行

4、#awk -F: '/root/' /etc/passwdroot:x:0:0:root:/root:/bin/bash

这种是pattern的使用示例，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。

搜索支持正则，例如

找root开头的: awk -F: '/^root/' /etc/passwd

 

5、搜索/etc/passwd有root关键字的所有行，并显示对应的shell

# awk -F: '/root/{print $7}' /etc/passwd           

 /bin/bash

 这里指定了action{print $7}

 

awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

ARGC               命令行参数个数

ARGV               命令行参数排列

ENVIRON            支持队列中系统环境变量的使用

FILENAME           awk浏览的文件名

FNR                浏览文件的记录数

FS                 设置输入域分隔符，等价于命令行 -F选项

NF                 浏览记录的域的个数

NR                 已读的记录数

OFS                输出域分隔符

ORS                输出记录分隔符

RS                 控制记录分隔符

 

 

统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:

[root@localhost /]#cat /etc/passwd|awk -F':' '{print "filename:" FIENAME ",linenumber:" NR ",columns:" NF ",linecontent:" $0}'
filename:,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:,linenumber:2,columns:7,linecontent:bin:x:1:1:bin:/bin:/sbin/nologin
filename:,linenumber:3,columns:7,linecontent:daemon:x:2:2:daemon:/sbin:/sbin/nologin
filename:,linenumber:4,columns:7,linecontent:adm:x:3:4:adm:/var/adm:/sbin/nologin
filename:,linenumber:5,columns:7,linecontent:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
filename:,linenumber:6,columns:7,linecontent:sync:x:5:0:sync:/sbin:/bin/sync
filename:,linenumber:7,columns:7,linecontent:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
filename:,linenumber:8,columns:7,linecontent:halt:x:7:0:halt:/sbin:/sbin/halt
filename:,linenumber:9,columns:7,linecontent:mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

……

使用printf替代print,可以让代码更加简洁，易读

awk -F':''{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

awk编程

 变量和赋值

除了awk的内置变量，awk还可以自定义变量。

统计/etc/passwd用户的人数：

awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd

root:x:0:0:root:/root:/bin/bash......

user count is  40

count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。

 

这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0:

awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd

[start]user count is  0root:x:0:0:root:/root:/bin/bash...

[end]user count is  40

 

统计某个文件夹下的文件占用的字节数

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}'
[end]size is  8657198

 

如果以M为单位显示:

ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' 
[end]size is  8.25889 M

注意，统计不包括文件夹的子目录。

jin