awk sed 命令

awk       awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。       简单来说awk就是把文件逐行的读入，以 空格或TAB 为默认分隔符 将每行分段，切开的部分再进行各种分析处理。

awk脚本基本结构

简单：awk '条件类型1{动作1} 条件类型2{动作2} ...' filename

复杂：awk 'BEGIN{ print "start" } pattern{ action } END{ print "end" }' file

参数：awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file
 [-F|-f|-v]   大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value

一个awk脚本通常由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块3部分组成，这三个部分是可选的。任意一个部分都可以不出现在脚本中，脚本通常是被单引号或双引号中 例如： awk 'BEGIN{ i=0 } { i++ } END{ print i }' filenameawk"BEGIN{ i=0 } { i++ } END{ print i }"filename

 BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。

 pattern语句块中的通用命令是最重要的部分，它也是可选的。在pattern{ action } 中
pattern可以为定值、计算表达式、awk命令。
最终结果为1则执行action、为0则不执行

如果没有pattern语句块，则默认执行{ action}，awk读取的每一行都会执行该语句块。

如果没有action，则action默认为{print $0}

END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。

awk的工作原理

• 第一步：执行BEGIN{ commands }语句块中的语句；
• 第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
• 第三步：当读至输入流末尾时，执行END{ commands }语句块。

特殊要点:
$0           表示整个当前行
$1           每行第一个字段
NF          每行字段总数
NR           每行的 行号，多文件记录递增
FNR         与NR类似，不过多文件记录不递增，每个文件都从1开始
\t            制表符
\n           换行符
FS          BEGIN时定义分隔符
RS        输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
~            匹配，与==相比不是精确比较
!~           不匹配，不精确比较
==         等于，必须全部相等，精确比较
!=           不等于，精确比较
&&　     逻辑与
||      逻辑或
+            匹配时表示1个或1个以上
/[0-9][0-9]+/   两个或两个以上数字
/[0-9][0-9]*/    一个或一个以上数字
FILENAME 文件名
OFS      输出字段分隔符， 默认也是空格，可以改为制表符等
ORS        输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕
-F'[:#/]'   定义三个分隔符

• awk 的逻辑运算字节

既然有需要用到 "条件" 的类别：

运算单元代表意义>大於<小於>=大於或等於<=小於或等於==等於!=不等於

在 /etc/passwd 当中是以冒号 ":" 来作为栏位的分隔， 该文件中第一栏位为帐号，第三栏位则是 UID。那假设我要查阅，第三栏小於 10 以下的数据，并且仅列出帐号与第三栏， 那么可以这样做：

[root@www ~]# cat /etc/passwd | \> awk '{FS=":"} $3 < 10 {print $1 "\t " $3}'root:x:0:0:root:/root:/bin/bashbin      1daemon   2....(以下省略)....

有趣吧！不过，怎么第一行没有正确的显示出来呢？这是因为我们读入第一行的时候，那些变量 $1, $2... 默认还是以空白键为分隔的，所以虽然我们定义了 FS=":" 了， 但是却仅能在第二行后才开始生效。那么怎么办呢？我们可以预先配置 awk 的变量啊！ 利用 BEGIN 这个关键字喔！这样做：

[root@www ~]# cat /etc/passwd | \> awk 'BEGIN {FS=":"} $3 < 10 {print $1 "\t " $3}'root     0bin      1daemon   2......(以下省略)......

 

print & $0print 是awk打印指定内容的主要命令awk '{print}'  /etc/passwd   ==   awk '{print $0}'  /etc/passwd   //全部输出awk '{print ""}'  /etc/passwd     //不输出passwd的内容，而是输出相同个数的空行， //进一步解释了awk是一行一行处理文本awk '{print "a"}'    /etc/passwd      //输出相同个数的a行，一行只有一个a字母awk '{ print $2,$3 }' filename //打印每行的第二和第三个字段

当print的参数是以逗号进行分隔时，打印时则以空格或TAB作为定界符

awk '{print $NF}'

-F指定分隔符awk -F":" '{print $1}' awk -F: '{print $1; print $2}'       //将每一行的前二个字段，分行输出，进一步理解一行一行处理文本awk  -F: '{print $1,$3,$6}' OFS="\t"     //输出字段1,3,6，以制表符作为分隔符

指定多种分隔符号awk -F'[:#/]'   定义三个分隔符

awk -F'[ :]'  使用 空格和: 作为分隔符

awk -F' |:'       同上


如果连续出现分隔符，那我们这样取数据的时候会报错
解决这个问题的办法就是-F'[ ]+'，用+号来将连续出现的分隔符当成一个来处理
[ ] 表示一个字符的集合，+则是一个正则表达式，表示+前面的字符（：或者空格）重复1次或者一次以上

awk -F'[ :]+'

//匹配代码块
//纯字符匹配   !//纯字符不匹配   ~//字段值匹配    !~//字段值不匹配   ~/a1|a2/字段值匹配a1或a2   
awk '/mysql/' /etc/passwd
awk '/mysql/{print }' /etc/passwd
awk '/mysql/{print $0}' /etc/passwd                   //三条指令结果一样
awk '!/mysql/{print $0}' /etc/passwd                  //输出不匹配mysql的行
awk '/mysql|mail/{print}' /etc/passwd
awk '!/mysql|mail/{print}' /etc/passwd
awk -F: '/mail/,/mysql/{print}' /etc/passwd         //区间匹配
awk '/[2][7][7]*/{print $0}' /etc/passwd               //匹配包含27为数字开头的行，如27，277，2777...
awk -F: '$1~/mail/{print $1}' /etc/passwd           //$1匹配指定内容才显示
awk -F: '{if($1~/mail/) print $1}' /etc/passwd     //与上面相同
awk -F: '$1!~/mail/{print $1}' /etc/passwd          //不匹配
awk -F: '$1!~/mail|mysql/{print $1}' /etc/passwd        

使用BEGIN 和 END

执行流程# cat /etc/passwd |awk -F':' 'BEGIN {print "start"}{print $1,$7} END{print "end"}'

start
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
……

end

awk内置变量

awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

ARGC               命令行参数个数ARGV               命令行参数排列ENVIRON            支持队列中系统环境变量的使用FILENAME           awk浏览的文件名FNR                浏览文件的记录数FS                 设置输入域分隔符，等价于命令行 -F选项NF                 浏览记录的域的个数NR                 已读的记录数OFS                输出域分隔符ORS                输出记录分隔符RS                 控制记录分隔符

 awk -F':''{print "filename:"FILENAME ",linenumber:" NR ",columns:"NF ",linecontent:"$0}' /etc/passwd

filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:bin:x:1:1:bin:/bin:/sbin/nologin
filename:/etc/passwd,linenumber:3,columns:7,linecontent:daemon:x:2:2:daemon:/sbin:/sbin/nologin





awk编程
 变量和赋值
除了awk的内置变量，awk还可以自定义变量。
下面统计/etc/passwd的账户人数
awk '{count++;print $0;} END{print "user count is ", count}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
......
user count is  40
count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句，而action{}可以有多个语句，以;号隔开。
 
这里没有初始化count，虽然默认是0，但是妥当的做法还是初始化为0:
awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd
[start]user count is  0
root:x:0:0:root:/root:/bin/bash
...
[end]user count is  40


条件语句
 awk中的条件语句是从C语言中借鉴来的，见如下声明方式：
复制代码
if (expression) {
    statement;
    statement;
    ... ...
}


if (expression) {
    statement;
} else {
    statement2;
}


if (expression) {
    statement1;
} else if (expression1) {
    statement2;
} else {
    statement3;
}

循环语句

awk中的循环语句同样借鉴于C语言，支持while、do/while、for、break、continue，这些关键字的语义和C语言中的语义完全相同。

显示/etc/passwd的账户
这里使用for循环遍历数组

awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd0 root1 daemon2 bin3 sys4 sync5 games......

awk数组：

定义方法

1：可以用数值作数组索引(下标)
array[1]=“cheng mo”
array[2]=“800927”

如果某数组元素不存在，则自动创建此元素并初始化为空串

2：可以用字符串作数组索引(下标)
array[“first”]=“cheng ”
array[“last”]=”mo”
array[“birth”]=”800927”

使用中 print array[1] 将得到”cheng mo” 而 print array[2] 和 print array[“birth”] 都将得到 ”800927” 。

3：循环输出数组的值  
 { for (a in array)  print a,array[a]} # 输出的顺序是随机的

first   cheng

2 800927

birth 800927

1 chengmo

last mo

实例分析:
netstat -n | awk '/^tcp/ {++S[$NF]};END {for(a in S) print a, S[a]}'
#netstat -n
tcp        0      0 192.168.0.104:48326     192.168.0.104:80        TIME_WAIT  
tcp        0    104 192.168.0.104:22        192.168.0.102:54582     ESTABLISHED
tcp6       0      0 192.168.0.104:80        192.168.0.102:52486     TIME_WAIT  
tcp6       0      0 192.168.0.104:80        192.168.0.102:52488     TIME_WAIT  
tcp6       0      0 192.168.0.104:80        192.168.0.102:52490     TIME_WAIT 

首先awk 对每一行 匹配 是否以 tcp开头

匹配成功后 建立一个数组S，数组下标是该行最后一列的值,初始化为0   即 S[TIME_WAIT]=0

但是我们这里实际表达的是S[TIME_WAIT]=1

所以我们使用自增  ++  ，读取变量前先自增，这样第一行的结果就是  S[TIME_WAIT]=1

第二行同理 S[ESTABLISHED]=1

第三行 又是 S[TIME_WAIT]，这一行数组元素会增加1 ，S[TIME_WAIT]=2

sed命令：

 sed 本身也是一个管线命令，可以分析 standard input ！
而且 sed 还可以将数据进行取代、删除、新增、撷取特定行等等的功能

[root@www ~]# sed [-nefr] [动作]选项与参数：-n  ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN       的数据一般都会被列出到萤幕上。      但如果加上 -n 参数后，则只有经过  sed 特殊处理的那一行(或者动作)才会被列出来。-e  ：直接在命令列模式上进行 sed 的动作编辑；-f  ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的       sed 动作；-r  ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)-i  ：直接修改读取的文件内容，而不是由萤幕输出。动作说明：  [n1[,n2]]functionn1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作         是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』function 有底下这些： a   ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～ c   ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！ d   ：删除，因为是删除啊，所以 d 后面通常不接任何；
 i   ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
 p   ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～ s   ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配      正规表示法！例如 1,20s/old/new/g 就是啦！

sed 删除

范例一：将 /etc/passwd 的内容列出并且列印行号，同时，请将第 2~5 行删除！[root@www ~]# nl /etc/passwd | sed '2,5d'     1  root:x:0:0:root:/root:/bin/bash     6  sync:x:5:0:sync:/sbin:/bin/sync     7  shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown.....(后面省略).....

只删除第二行          sed '2d'
删除第二行到最后   sed '2,$d'

sed 增加

在第二行后(亦即是加在第三行)加上『drink tea?』字样！

sed '2a drink tea '

在第二行前 增加
sed '2i drink tea'

sed 整行替换

范例四：我想将第2-5行的内容取代成为『No 2-5 number』呢？

sed '2,5c No 2-5 number'

sed部分数据查找替换

sed 's/要被取代的字串/新的字串/g'

三个斜线分成两栏就是新旧字串的替换

inet addr:192.168.1.100  Bcast:192.168.1.255  Mask:255.255.255.0

将开始到 addr: 通通删除        sed 's/^.*addr://g'

将ip地址后面通透删除   sed 's/Bcast.*$//g'

sed 显示功能

以前想要列出第 11~20 行， 得要透过『head -n 20 | tail -n 10』之类的方法来处理，很麻烦啦～

 sed 则可以简单的直接取出你想要的那几行

仅列出 /etc/passwd 文件内的第 5-7 行

cat /etc/passwd | sed -n '5,7p'  一定使用 -n

• sed直接修改文件内容(危险动作)

 sed 甚至可以直接修改文件的内容呢！而不必使用管线命令或数据流重导向！

 利用 sed 将 regular_express.txt 内每一行结尾若为 . 则换成 !
# sed -i 's/\.$/\!/g' regular_express.txt
# 上头的 -i 选项可以让你的 sed 直接去修改后面接的文件内容而不是由萤幕输出！

利用 sed 直接在 regular_express.txt 最后一行加入『# This is a test』
# sed -i '$a # This is a test' regular_express.txt
# 由於 $ 代表的是最后一行，而 a 的动作是新增，因此该文件最后新增罗！