Linux-awk及内置变量
来源:互联网 发布:我的病娇男朋友知乎 编辑:程序博客网 时间:2024/04/27 07:41
概述
awk(分析&处理)
awk是一个数据处理工具,相比于sed常常作用于一整行的处理,awk则比较倾向于将一行分成数个”字段“来处理。
通常运行模式:
awk ' 条件类型1{动作1} 条件类型2{动作2}...‘ filenameawk ' BEGIN{ print "start" } pattern { commands } END{ print "end" } file
awk 内置变量使用
内置变量表
$1~$n
当前记录的第n个字段,字段间由FS分隔 FS 输入字段分隔符 默认是空格 NF 当前记录中的字段个数,就是有多少列 NR 已经读出的记录数,就是行号,从1开始 RS 输入的记录他隔符默 认为换行符 OFS 输出字段分隔符 默认也是空格 ORS 输出的记录分隔符,默认为换行符 ARGC 命令行参数个数 ARGV 命令行参数数组 FILENAME 当前输入文件的名字 IGNORECASE 如果为真,则进行忽略大小写的匹配 ARGIND 当前被处理文件的ARGV标志符 CONVFMT 数字转换格式 %.6g ENVIRON UNIX环境变量 ERRNO UNIX系统错误消息 FIELDWIDTHS 输入字段宽度的空白分隔字符串 FNR 当前记录数 OFMT 数字的输出格式(默认值是%.6g) RSTART 被匹配函数匹配的字符串首 RLENGTH 被匹配函数匹配的字符串长度 SUBSEP 数组下标分隔符(默认值是\034)栗子
以下操作的数据来源为/etc/passwd
root:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nologindaemon:x:2:2:daemon:/sbin:/sbin/nologinadm:x:3:4:adm:/var/adm:/sbin/nologinlp:x:4:7:lp:/var/spool/lpd:/sbin/nologinsync:x:5:0:sync:/sbin:/bin/syncshutdown:x:6:0:shutdown:/sbin:/sbin/shutdownhalt:x:7:0:halt:/sbin:/sbin/haltmail:x:8:12:mail:/var/spool/mail:/sbin/nologinuucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologinoperator:x:11:0:operator:/root:/sbin/nologingames:x:12:100:games:/usr/games:/sbin/nologingopher:x:13:30:gopher:/var/gopher:/sbin/nologinftp:x:14:50:FTP User:/var/ftp:/sbin/nologin...........
root开头的那一行
[root@entel2 ~]# awk '/^root/{print $0}' /etc/passwdroot:x:0:0:root:/root:/bin/bash
/^root/ 为选择表达式,
^root表示以root开头
$0
代表整行 $1
代表第一个区域,依此类推
设置字段分隔符号(FS使用方法)
[root@entel2 ~]# head -1 /etc/passwdroot:x:0:0:root:/root:/bin/bash[root@entel2 ~]# awk 'BEGIN{FS=":"}/^root/{print $1,$NF}' /etc/passwdroot /bin/bash[root@entel2 ~]# awk 'BEGIN{FS=":"}/^root/{print $2,$NF}' /etc/passwdx /bin/bash[root@entel2 ~]# awk 'BEGIN{FS=":"}/^root/{print $0,$NF}' /etc/passwdroot:x:0:0:root:/root:/bin/bash /bin/bash[root@entel2 ~]# awk 'BEGIN{FS=":"}/^root/{print $6,$NF}' /etc/passwd/root /bin/bash
FS为字段分隔符,可以自己设置,默认是空格,因为passwd里面是”:”分隔,所以需要修改默认分隔符。
NF是字段总数,$0
代表当前行记录,$1-$n
是当前行,各个字段对应值。
$NF 最后一列的值。
记录条数(NR,FNR使用方法)
[root@entel2 ~]# awk 'BEGIN{FS=":"}{print NR,$1,$NF}' /etc/passwd1 root /bin/bash2 bin /sbin/nologin3 daemon /sbin/nologin4 adm /sbin/nologin5 lp /sbin/nologin6 sync /bin/sync7 shutdown /sbin/shutdown8 halt /sbin/halt9 mail /sbin/nologin10 uucp /sbin/nologin........
设置输出字段分隔符(OFS使用方法)
指定分隔符为^^[root@entel2 ~]# awk 'BEGIN{FS=":";OFS="^^"}/^root/{print FNR,$1,$NF}' /etc/passwd1^^root^^/bin/bash默认字段分隔符:[root@entel2 ~]# awk 'BEGIN{FS=":"}/^root/{print FNR,$1,$NF}' /etc/passwd1 root /bin/bash
OFS设置默认字段分隔符
设置输出行记录分隔符(ORS使用方法)
cat /etc/passwd|head -n 5|awk 'BEGIN{FS=":";ORS="^^"}{print FNR,$1,$NF}'
[root@entel2 ~]# cat /etc/passwd|head -n 5|awk 'BEGIN{FS=":";ORS="^^"}{print FNR,$1,$NF}'1 root /bin/bash^^2 bin /sbin/nologin^^3 daemon /sbin/nologin^^4 adm /sbin/nologin^^5 lp /sbin/nologin^^
ORS默认是换行符,这里修改为:”^^”,所有行之间用”^^”分隔了。
输入参数获取(ARGC ,ARGV使用)
[root@entel2 ~]# awk 'BEGIN{FS=":";print "ARGC="ARGC;for(k in ARGV) {print k"="ARGV[k]; }}' /etc/passwdARGC=20=awk1=/etc/passwd[root@entel2 ~]# awk 'BEGIN{FS=":";print "NUM="ARGC;for(k in ARGV){print k"="ARGV[k];}}' /etc/passwdNUM=20=awk1=/etc/passwd
ARGC得到所有输入参数个数,ARGV获得输入参数内容,是一个数组。
获得传入的文件名(FILENAME使用)
[root@entel2 ~]# awk 'BEGIN{FS=":";print FILENAME}/^root/{print FILENAME}' /etc/passwd/etc/passwd
可见 第一行并没有打印出 /etc/passwd
FILENAME,$0-$N,NF 不能使用在BEGIN中,BEGIN中不能获得任何与文件记录操作的变量。
获得linux环境变量(ENVIRON使用)
[root@entel2 ~]# awk 'BEGIN{print ENVIRON["PATH"];}' /etc/passwd.:/oracle/oracle11/product/112/bin:/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
输出数据格式设置:(OFMT使用)
[root@entel2 ~]# awk 'BEGIN{OFMT="%.3f";print 2/3,123.11111111;}' /etc/passwd 0.667 123.111默认的[root@entel2 ~]# awk 'BEGIN{OFMT="%.6f";print 2/3,123.11111111;}' /etc/passwd 0.666667 123.111111
OFMT默认输出格式是:%.6g 保留六位小数,这里修改OFMT会修改默认数据输出格式。
按宽度指定分隔符(FIELDWIDTHS使用)
[root@entel2 ~]# echo 20160922231258 | awk 'BEGIN{FIELDWIDTHS="4 2 2 2 2 2"}{print $1"-"$2"-"$3,$4":"$5":"$6}'2016-09-22 23:12:58
FIELDWIDTHS其格式为空格分隔的一串数字,用以对记录进行域的分隔,FIELDWIDTHS=”4 2 2 2 2 2”就表示$1
宽度是4,$2
是2,$3
是2 …. 。这个时候会忽略:FS分隔符。
RSTART RLENGTH使用
[root@entel2 ~]# awk 'BEGIN{start=match("this is a test",/[a-z]+$/); print start, RSTART, RLENGTH }'11 11 4[root@entel2 ~]# awk 'BEGIN{start=match("this is a test",/^[a-z]+$/); print start, RSTART, RLENGTH }'0 0 -1
RSTART 被匹配正则表达式首位置,RLENGTH 匹配字符长度,没有找到为-1.
3 0
- Linux-awk及内置变量
- linux awk内置变量
- linux awk 内置变量实例
- linux awk 内置变量实例
- linux awk 内置变量实例
- [Linux] awk内置变量、awk操作符、awk…
- linux awk 内置变量使用介绍
- linux awk 内置变量使用介绍
- linux awk 内置变量使用介绍
- linux awk 内置变量使用介绍
- linux awk 内置变量使用介绍
- linux awk 内置变量使用介绍
- linux awk 内置变量使用介绍
- linux awk 内置变量使用介绍
- linux下 awk内置变量使用介绍
- linux下 awk内置变量使用介绍
- linux下 awk内置变量使用介绍
- awk 内置变量
- Dubbo架构设计详解
- 工具类与工具函数(一)—— NextPrime
- 【58.75%】【BZOJ 1087】[SCOI2005]互不侵犯King
- github---新手教程
- 前端开发布局技巧汇总
- Linux-awk及内置变量
- Socket编程基本概念----imooc(3)
- UVa1583
- 源码-Oracle数据库管理-第六章-索引和约束-约束部分-Part 1
- 鸡汤_产品经理职责概要
- 我学 hibernate - 04 ID生成策略(13种)
- info
- clang是什么?
- 为什么是三次握手而不是两次握手,为什么是四次挥手