shell awk正则式匹配问题

来源:互联网 发布:java 发邮件代码 编辑:程序博客网 时间:2024/05/29 16:31

今天看到个shell脚本里面awk处理字符串的,里面有一句gsub("\\.[0-9]+$","",$2),而这个$2的格式是2013-08-07 00:12:13.333这种,这个gsub想要把.333给去掉,看着不太正常,感觉里面的正则式应该是匹配不到.333的啊。\\转义后就变成了一个\,而原来的.是没有被转义的,这样就应该无法截取掉.333的,可实际运行了一下,的确可以正确运行,然后又去掉一个\试了下,也可以,但是提示awk: warning: escape sequence `\.' treated as plain `.'

查了下,应该是多次转义的问题,有个讲解是说的比较清楚的,转载如下:


原始地址:http://pzy84.blogbus.com/logs/80017403.html

对于 AWK 程序中的pattern,用"//"包围即可,比如

mount |awk '/type (ext3|tmpfs)/ {print $1}'

分隔符(field separator)也支持正则表达式,它在 awk 程序中是一个名为 FS 的变量,可以在命令行中通过 -F 参数设置 FS 变量的值,比如
awk -F '[:/]' '{print $2}'

如果方括号本身就是分隔符,比如想提取日志中用[]包围的时间戳,就需要非常小心地使用引号和转义,因为shell会抢先转义。

通过试验,我发现这里面有三层转义,按执行顺序依次是:
shell
awk
field separator processor
要禁止shell转义,请用单引号包围 FS 的值,否则使用双引号或干脆不用引号(仅当参数不包含空格时)。

awk的转义是无法禁止的,所以只能通过累加转义来抵消它的影响,也就是用 '\\' 表达 '\'。

field separator processor 是我想象出来的一个东西,总之我们的目的就是让 FS 的值正好就是最根本的那个正则表达式。

以下是一些示例,正反面都有。示例程序的任务是从"[234 abc] lalala"中提取出"234 abc"。

(1) 失败,"[\[\]]" 被 awk 转义成 "[[]]" 了
[pzy@vm ~]$ echo "[234 abc] lalala" | awk -F '[\[\]]' '{print $2}'   
awk: warning: escape sequence `\[' treated as plain `['
awk: warning: escape sequence `\]' treated as plain `]'

(2) 成功,"[\\[\\]]" 被 awk 转义成 "[\[\]]" 了,而这正是我们想要的结果
[pzy@vm ~]$ echo "[234 abc] lalala" | awk -F '[\\[\\]]' '{print $2}' 
234 abc

(3) 失败,"[\\[\\]]" 先被 shell 转移成 "[\[\]]",再被 awk 转义成 "[[]]" 了
[pzy@vm ~]$ echo "[234 abc] lalala" | awk -F "[\\[\\]]" '{print $2}'  
awk: warning: escape sequence `\[' treated as plain `['
awk: warning: escape sequence `\]' treated as plain `]'

(4) 成功,"[\\\\[\\\\]]" 先被 shell 转义成 "[\\[\\]]",再被 awk 转义成 "[\[\]]"
[pzy@vm ~]$ echo "[234 abc] lalala" | awk -F "[\\\\[\\\\]]" '{print $2}'
234 abc

(5) 成功,跟(4)的原理相同
[pzy@vm ~]$ echo "[234 abc] lalala" | awk -F [\\\\[\\\\]] '{print $2}'
234 abc

(6) 成功,原理我就不明白了,在论坛里看到的,由它还可以衍生出很多变种
[pzy@vm ~]$ echo "[234 abc] lalala" | awk -F [][] '{print $2}'   
234 abc