Grep Sed Awk 笔记和实例

1.    Grep

1.1  何为Grep

Grep表示Global search Regular Expression and Print out the line，是一种强大的文本搜索工具。它从若干个文件中搜索字符串模板，模板后的所有字符串被视为文件名，因此如果模板中有空格则需要被引用，并默认将搜索结果送到终端。

如果搜索成功，则返回0；如果无法匹配到模板，返回1；如果目标文件不存在，返回2

1.2 Grep选项

-数字      同时显示匹配行的上下若干行，如-2表示同时显示匹配行的上下2行；示例：#grep -2 “meet” test.txt

-b     在匹配行前面打印该行所在块；

-c     只打印匹配的行数；

-f File    从文件中提取要匹配的模板；

-h     搜索多个文件时，默认会在匹配行前面显示所在文件名，该参数取消此功能；示例：#grep –h “meet” test.txt 1.txt

-i      忽略大小写；

-q     不显示匹配行，只返回退出状态；

-l      显示匹配模板的文件列表；示例：grep –l “meet” *

-L     -l的取反，显示不匹配模板的文件列表；

-n     在匹配行前显示行号；

-s     不显示错误信息；

-v     只显示不匹配的行；

-V    显示版本信息；

-w    结合/<和/>匹配单词；

1.3 基本正则

       ^     匹配行开始

       $     匹配行末尾

       .      匹配一个非换行字符

*    匹配任意个先前字符

[]    匹配指定范围内字符

[^]  匹配不属于指定范围的字符

/<   匹配单词开始

/>   匹配单词结束

/{m/}    重复m次先前字符

/{m,/}   重复至少m次先前字符

/{m,n/} 重复m到n次先前字符

/w  匹配文字和数字

/W/w的取反，匹配非文字和数字

/b  设置边界，即只匹配单词；如’/bschedule/b’不会匹配”scheduled”

1.4扩展正则egrep或者grep –E

+      匹配至少一个先前字符

?      匹配0个或1个先前字符

|       匹配其中之一，如a|b|c

()      在字符串中插入RE，如abc(d|e)fg

{m}、{m,}、{m,n}  同上表示匹配m个、至少m个、m到n个

1.5 POSIX字符集

[:alnum:]       表示文字和数字

[:alpha:]       表示文字

[:digit:]        表示数字

[:xdigit:]      表示十六进制数字

[:graph:]             表示非空格、控制字符等的其它非空字符

[:lower:]       小写字符

[:upper:]             大写字符

[:cntrl:]        控制字符

[:print:]       可打印字符

[:punct:]       标点符号

[:space:]             空白字符，如空格、制表符、换行符

1.6 实例

       ①从一堆URL中提取出非IP类URL：# grep "^[^0-9]/{2,3/}/." final.result >final_no_ip.result

       ②取出不包含James的记录：#grep –n –v James datafile

       ③取出以K、k、A、a开头的记录：#grep –i –n ^[AaKk] datafile

 

 

2.   Sed

2.1 何为Sed

Sed表示streams editor，它一次读入一行记录到缓冲区（称为“模式空间”），然后根据命令处理缓冲区中的内容，再送到终端显示。如此循环，直到文件结束。

2.2Sed选项

-e     表示允许多个命令执行，示例：sed –e ‘s/a/A’ –e ‘s/b/B’ data.txt

-f     后面指定sed脚本文件，如果没有-e或-f则第一个非选项参数视为sed命令

-n     取消自动打印模式空间

-r     在脚本中使用扩展正则表达式

-s     将输入文件视为独立文件，而非连续长输入

--help

--version

2.3 Sed命令

2.3.1 替换命令s

       s     表示substitution，替换，是sed中最重要的命令。示例：echo today | sed ‘s/day/night/’，得到的输出结果为“tonight”。

       替换命令中分隔符为“/”，所以如果要替换“/”就需要进行转义“//”，多个这样的正反斜线被称为“Picket Fence”。

       &     在s命令中该符号表示匹配串。示例：echo today | sed ‘s/day/(&)/’，得到的输出结果为“to(day)”。

       /1    sed可以记忆/1到/9，分别表示第1到第9个匹配串。

2.3.2 替换命令s的末尾标记

       /g    表示全局搜索。示例：sed ‘s/day/night/g’。

       /p   表示输出当前行。示例：sed ‘s/day/(&)/p’。

       /w   将处理结果写到文件中。示例：sed ‘s/day/(&)/w day.txt’

2.3.3 指定sed操作范围

       通过数字指定行范围：sed ‘1,100 s/a/A’。

       通过模式指定行范围：sed ‘/start/,/stop/ s/a/A/’。

       通过混合指定行范围：sed ‘1,/stop/ s/a/A/’。

2.3.4 删除命令d

       删除指定行：sed ‘1, d’。

       删除范围行：sed ‘1,$ d’，表示删除第一行到最后一行。

       删除匹配行：sed ‘/^$/ d’，表示删除空行。

2.3.5 输出命令p

       输出指定行：sed ‘1 p’。

       输出范围行：sed ‘1,10 p’。

       输出匹配行：sed ‘/^#/ p’。

2.3.6 取反命令!

       不输出匹配行：sed ‘/^# !p’。

       删除非指定行：sed ‘1,10 !d’，即删除11到最后一行。

2.3.7 使用{}组合命令

       即可以在{}中放置多条命令。

2.3.8 文件读写与追加、插入、改变

       添加a表示将行添加到匹配行后面，插入i则是插入到前面，命令c则是改变当前行。

       读文件使用r命令，写文件使用w命令。

       示例：sed ‘/meet/ r 2.txt’ < 1.txt，如果2.txt有1.txt的匹配行，则会在该匹配行后面显示2.txt的内容。

       示例：echo abc123 | sed ‘/abc/ a hello’，得到结果为:

abc123

hello

示例：echo abc123 | sed ‘/abc/ i hello’，得到结果为:

hello

abc123

       示例：echo abc123 | sed ‘/abc/ c hello’，则将匹配行换成hello。

2.3.9 获取下一行n

       示例：sed ‘/meet/{n; s/meet/(&)/;}’ meet.txt，每次匹配到meet时，就读入下一行做处理，如示例中是对下一行的meet做添加括号的处理。

 

 

3．Awk

3.1 何为Awk

       Awk取名于三个作者的姓氏。它是一种数据驱动的编程语言，用于在*nix下对文本和数据进行处理，它支持用户自定义函数和正则表达式，是一种强大的编程工具。

       Awk逐行扫描文件，当该行匹配指定模式时，就对其执行指定操作，直到处理到输入文件末尾。其一般格式为：pattern {action}。

3.2 Awk选项

       -Ffs      指定域分隔符，后跟字符串或RE

       -fscriptfile 从文件中读取awk命令，后跟文件名

       -vvar=val     变量赋值

       -Whelp 显示帮助信息，使用该命令可以查询其它很多选项

3.3 模式

       Awk的模式可以有：/正则表达式/、关系表达式、模式匹配表达式（~或者!~）、模式，模式（指定范围）、BEGIN、END。

3.4 操作

       Awk的操作有：输出、变量或数组赋值、函数、逻辑控制。

3.5 主要环境变量

       $0  当前记录

       $n   当前记录的第n个域

       FILENAME  当前文件名

       FS  域分隔符，默认为任何空格

       NF  当前记录的域数目

       NR  当前记录数，即行号

       FNR       同上，但相对于文件

3.6 基本正则和POSIX字符集

       参考上述grep和sed。

3.7 实例

       ①<一个生成.csv文件的例子：

http://blog.csdn.net/jasonblog/archive/2010/08/10/5801961.aspx

       ②输出：#awk ‘{print $0}’ datafile

       ③只输出第一个域：#awk ‘{print $1}’ datafile

       ④显示以350结尾的行号：#awk ‘/350$/ {print NR}’datafile

       ⑤用if语句输出第一个域为Sir的行号：#awk ‘{if($1==”Sir”){print NR}}’datafile