sed命令讲解

一个点（.）代表一个字符。

比如：.a. 代表3个字符，中间一个字符是a，两边各一个任意字符。

比如：... 代表3个任意字符。

若要匹配点（.）本身，则使用转义字符。

比如：my... 代表my.后接两个字符。

 

行首匹配^

行尾匹配$

 

[...] 代表字符串中的一个字符。

比如：[abc] 代表a或b或c中的任意一个字符。

比如：[Mm]y 代表My或者my。

 

^出现在[]里，代表“非”

比如：[^a]代表不是a

 

*代表前面的字符有0个或者0个以上

比如：a*b代表ab或aab或aaab等。

 

{...}代表制定符合的个数。

比如：{1,5}代表前面的字符有1-5个。

1 sort的工作原理

 

sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。

[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear

2 sort的-u选项

它的作用很简单，就是在输出行中去除重复行。

[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
pear
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear
pear
[rocrocket@rocrocket programming]$ sort -u seq.txt
apple
banana
orange
pear

pear由于重复被-u选项无情的删除了。

3 sort的-r选项

sort默认的排序方式是升序，如果想改成降序，就加个-r就搞定了。

[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort number.txt
1
2
3
4
5
[rocrocket@rocrocket programming]$ sort -r number.txt
5
4
3
2
1

 

Sed

sed基本语法：sed '样式' 文件

样式中，使用// 代表寻找，比如1,5代表第一到第五行，/aaa/,/bbb/ 表示作用范围从aaa的行到bbb的行。

例子：

sed '1,4d' file 指的是把第一到第四行删除。

sed '/aaa/d' file 指的是把还有aaa的那行删除。

sed '/[0-9]{3}/d' file 指的是把还有3个数字的行删除。

sed '/^$/d' file 指的是把空白行删除。

sed '/aaa/!d' file 指的是把不含有aaa行的删除。

sed '/aaa/p' file 指的是把含有aaa的行显示出来。

sed -n '/aaa/p' file 指的是把含有aaa的行显示出来，同时显示行号。

 

使用sed取代字符

例子：

sed 's/aaa/bbb/p' file 将bbb取代aaa，只取代一次。

sed 's/aaa/bbb/pg' file 将bbb取代aaa，全部取代。

sed 's/aaa//p' file 将aaa删除，只删除一次。

sed 's/^...//' file 将每行的前3个字符删除。

sed 's/...$//' file 将每行的后3个字符删除。

 

sed -n 's/(a)/1b/p' file 找到第一个a然后替换成ab。

 

awk

awk '/aa/' file 显示含有aa的行。

awk '{print $1, $2}' file 显示第一第二字段。

awk '/aa/{print $1, $2}' file 将含有aa的行的第一和第二个字段显示出来。

awk -F: '/^root/{print $1, $2}' /etc/passwd 指定:为分隔符，打印第一和第二字段。

awk -F: 'BEGIN{OFS="+++"}'/^root/{print $1, $2} /etc/passwd 以:为分隔符，打印第一和第二段，而且彼此用+++分开。

 

/////////////////////////////////////////////////////////////

实例

 

删除：d命令

• $ sed '1d' example-----删除example文件的第1行。

• $ sed '$d' example-----删除example文件的最后1行。

• $ sed '/[2-10]/d' example-----删除example文件的第2行删除至第10行。

　　　或 sed '2,10d' example

• $ sed '2,$d' example-----删除example文件的第二行到末尾所有行。

• $ sed '/test/d' example-----删除example文件所有包含test的行。

• $sed '/test/!d' example ------删除example文件中除test行之外的所有行。

• $sed '/^$/d' file1　　------删除file1中所有空行的行。

• $sed '^$/d' file1 -----删除file1中的空行。

 插入：i命令

• • $sed '2i test_context  -----在第2行的上面插入一行test_context内容。
  • $sed '1,3s/^/#/' file1 -----在1至3行的前面添加注释“#”。
  • $sed -i file1.bak '1i#!/bin/bash' file1   ----在file1中的第1行之上插入“#!/bin/bash”,并且将原文件备份为file1.bak。
  • $sed -i '1c#!/bin/bash'  file1   ------把file1中第一行替换为"#!/bin/bash"。

显示：p命令

• $sed -n '3p' file1   ------显示file1文件中的第1行。
• $sed -n '1,3p' file1 ------显示file1文件中的第1至3行。
• $sed -n '1,3!p' file1 -----不显示file1文件中的第1至3行。
• $sed -n '$p' file1   -----显示file1文件中的最后一行。
• $sed -n '$=' file1    -----显示file1文件中的行数，等同于 $ cat file1 | wc -l

替换：s命令

• $ sed 's/test/mytest/g' example-----在整行范围内把test替换为mytest。如果没有g标记，则只有每行第一个匹配的test被替换成mytest。

• $ sed -n 's/^test/mytest/p' example-----(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说，如果某一行开头的test被替换成mytest，就打印它。

• $ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加localhost，变成192.168.0.1localhost。

• $ sed -n 's/(love)able/1rs/p' example-----love被标记为1，所有loveable会被替换成lovers，而且替换的行会被打印出来。

• $ sed 's#10#100#g' example-----不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以，“#”在这里是分隔符，代替了默认的“/”分隔符。表示把所有10替换成100。

• $sed 's#3#1#g' file1   把file1中的3列替换为1列。

选定行的范围：逗号

• $ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印。

• $ sed -n '5,/^test/p' example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。

• $ sed '/test/,/check/s/$/sed test/' example-----对于模板test和west之间的行，每行的末尾用字符串sed test替换。

多点编辑：e命令

• $ sed -e '1,5d' -e 's/test/check/' example-----(-e)选项允许在同一行里执行多条命令。如例子所示，第一条命令删除1至5行，第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。

• $ sed --expression='s/test/check/' --expression='/love/d' example-----一个比-e更好的命令是--expression。它能给sed表达式赋值。

从文件读入：r命令

• $ sed '/test/r file' example-----file里的内容被读进来，显示在与test匹配的行后面，如果匹配多行，则file的内容将显示在所有匹配行的下面。

写入文件：w命令

• $ sed -n '/test/w file' example-----在example中所有包含test的行都被写入file里。

追加命令：a命令

• $ sed '/^test/a\--->this is a example' example<-----'this is a example'被追加到以test开头的行后面，sed要求命令a后面有一个反斜杠。

转自：http://blog.sina.com.cn/s/blog_e89090e40102v0ht.html