再转一篇:linux命令之sed, awk, grep, cut篇
来源:互联网 发布:中医真的有用吗 知乎 编辑:程序博客网 时间:2024/05/18 11:23
linux命令之sed, awk, grep, cut篇
用下来感觉这4个命令比较常用,功能也比较强大,等我有时间了要好好整理一下。
首先介绍一下cut,之前有文章已经讲过它的用法了,这次连带cut的死对头paste,一起拎出来讲讲。
第一篇 cut
常用参数:
-c 根据字符,用法:cut -cnum1-num2 filename 截取num1~num2之间的字符,字符从1开始记。
-f 根据域,默认为tab分隔
-d 定义域分隔符
范例:
shell> cat example
test2
this is test1
shell> cut -c1-6 example ## print 开头算起前 6 个字元
test2
this i
-c m-n 表示显示每一行的第m个字元到第n个字元。例如:
---------file-----------
liubi 23 14000
---------file-----------
# cut -c 1-5,10-14 file
liubi 14000
-f m-n 表示显示第m栏到第n栏(使用tab分隔)。例如:
---------file-----------
liubi 23 14000
---------file-----------
# cut -f 1,3 file
liubi 14000
-c 和 -f 参数可以跟以下子参数:
m 第m个字符或字段
m- 从第m个字符或字段到文件结束
m-n 从第m个到第n个字符或字段
-n 从第1个到第n个字符或字段
我们经常会遇到需要取出分字段的文件的某些特定字段,例如 /etc/password就是通过":"分隔各个字段的。可以通过cut命令来实现。例如,我们希望将系统账号名保存到
特定的文件,就可以:
cut -d: -f 1 /etc/passwd > /tmp/users
-d用来定义分隔符,默认为tab键,-f表示需要取得哪个字段
如:
使用|分隔
cut -d'|' -f2 1.test>2.test
使用:分隔
cut -d':' -f2 1.test>2.test
这里使用单引号或双引号皆可。
对于特殊字符用\来转义(以“-”为分隔符切割后,要第一个字段):
BGIOSGA005099-TA
BGIOSGA005310-TA
cut -d\- -f 1 file >out
或者:cut "\-" -f 1 file >out
cut的死对头:paste
paste file1 file2 >file3
把文件1与文件2按列合并(有没有发现跟cut正好相反呢?)
$ less 111
abc ddd eee
$ less 222
123 444 555
$ paste 111 222 >333
$ less 333
abc ddd eee
用-d参数可以自定义分隔符
$ paste -d: 111 222 >444
$ less 444
abc ddd eee:123 444 555
paste命令还有一个很有用的选项"-"。意即对每一个"-",从标准输入中读一次数据。-d参数来定义分隔符。以一个3列格式显示目录列表。方法如下:
$ ls |paste -d: - - -
block_info_down_1000:block_info_down_3000:sv_test
block_info_up1000:block_info_up3000:module_indel_sv
module_test:old:regulation_region_down.pl
sample.Q20.down1000:sample.Q20.down3000:sample.Q20.up1000
sample.Q20.up3000:sample_to_9311.snp.Q20.filter.sort:sample_to_test
第二篇 awk
awk 用法:awk ' pattern {action} '
a w k语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息
变量名 含义
ARGC 命令行变元个数
ARGV 命令行变元数组
FILENAME 当前输入文件名
FNR 当前文件中的记录号
FS 输入域分隔符,默认为一个空格
RS 输入记录分隔符
NF 当前记录里域个数
NR 到目前为止记录数
OFS 输出域分隔符
ORS 输出记录分隔符
用法介绍:
1,模式匹配
awk '/zqy/' fileA #寻找出fileA中含有zqy的行 等同于awk '$0~/zqy/' fileA
awk '$1~/88/' fileA #找出第一个域里面包含88的行
awk '$1~/88/{print $2}' fileA #找出第一个域里面包含88的行后,只打印该行的第二个域
2,对不同的域进行操作
awk '$2 >25 && $2<=55' fileA #找出第二个域里面满足条件的行,可以加上{print $n}来打印任意域
############### fileB #################
884
734
647
536
############### fileB #################
$ less fileB
884