文本处理——sed初步

sed是一种流编辑器，它一次处理一行内容。
处理时，把当前处理的行存储在临时缓冲区(pattern space),同时输出到屏幕，接着用sed命令处理缓冲区中的内容，接着读取下一行，这样不断重复，直到文件末尾。

用法：

sed -[options] [操作] inputfile

-n：不输出模式空间内容到屏幕，即不自动打印-e: 多点编辑-f：/PATH/SCRIPT_FILE: 从指定文件中读取编辑脚本-r: 支持使用扩展正则表达式-i.bak: 原处编辑并且备份源文件（.bak可以改为任意字符）

操作： [地址定界]function

地址定界：最简单的是n1,n2function:从n1匹配到n2的行，然后进行操作比如：10,20[动作行为]

单地址：       #：指定的行                /pattern/:被此模式匹配到的行，如果要使用扩展的正则表达式，则要使用-f选项            地址范围：       #,#从行到行                #，+#：比如3,+6代表是从第3行开始增加6行到第9行                /pat1/,/pat2/:pat1到pat2的行，如果匹配到pat1到pat2，将其加入到缓冲区，并且会继续向下匹配                #,/pat1/       ~:步进                1~2：匹配奇数行。从第一行开始，每隔2行匹配一次                2~2：匹配偶数行

function：

d: 删除模式空间匹配的行，因为是删除啊，所以 d 后面通常不接任何咚咚；p: 显示模式空间中的内容a [\]text：在指定行后面追加文本支持使用\n实现多行追加i [\]text：在行前面插入文本c [\]text：替换行为单行或多行文本w /path/somefile: 保存模式匹配的行至指定文件，sed '10,90w /root/file' file1将从f1匹配到的行到filer /path/somefile：读取指定文件的文本至模式空间中匹配到的行后=: 为模式空间中的行打印行号!:模式空间中匹配行取反处理cats///：查找替换,支持使用其它分隔符，s@@@，s###替换标记：g: 行内全局替换w /PATH/TO/SOMEFILE：将替换成功的行保存至文件中

数据的搜寻并执行命令

搜索/etc/passwd,找到root对应的行，执行后面花括号中的一组命令，每个命令之间用分号分隔，这里把bash替换为blueshell，再输出这行：nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p}'root:x:0:0:root:/root:/bin/blueshell如果只替换/etc/passwd的第一个bash关键字为blueshell，就退出nl /etc/passwd | sed -n '/bash/{s/bash/blueshell/;p;q}'    root:x:0:0:root:/root:/bin/blueshell最后的q是退出。

案例：

nl /etc/passwd |sed '2d'只删除第 2 行sed '/^#\|^[[:space:]]*$/d' f1搜索出来以#号开头或有空白行sed –n '2p' /etc/passwd    输出第二行sed –n '1,4p' /etc/passwd从第一行到第四行显示sed –n '/root/p' /etc/passwd    显示匹配到root的行sed –n '2,/root/p' /etc/passwd 从2行开始匹配root，并显示sed -n '/^$/=' file 显示空行行号sed –n –e '/^$/p' –e '/^$/=' file 多点编辑，我觉得类似grep的-e选项，或者的关系sed '/root/a\superman' /etc/passwd行后添加字符sed '/root/i\superman' /etc/passwd 行前sed '/root/c\superman' /etc/passwd 代替行sed '/^$/d' file删除空行，不包括空格组成的空行sed '1,10d' file nl /etc/passwd | sed '2,5d'nl /etc/passwd | sed '2a tea'在第二行后面添加teased 's/test/mytest/g' example 将test替换为mytestsed –n 's/root/&superman/p' /etc/passwd 单词后，相当于后向引用，替换为rootsupermansed –n 's/root/superman&/p' /etc/passwd 单词前sed -e 's/dog/cat/' -e 's/hi/lo/' petssed –i.bak 's/dog/cat/g' pets 编辑前先将pets备份为pets.bak然后进行替换编辑

高级编辑命令：

h：把模式空间中的内容覆盖至保持空间中；H：把模式空间中的内容追加至保持空间中；g：把保持空间中的内容覆盖至模式空间中；G：把保持空间中的内容追加至模式空间中；x：把模式空间中的内容与保持空间中的内容互换；n：覆盖读取匹配到的行的下一行至模式空间中；N：追加读取匹配到的行的下一行至模式空间中；d: 删除模式空间中的行D：删除当前模式空间开端至\n的内容（不再传至标准输出），放弃之后的命令，但是对剩余模式空间重新执行sed

示例：

sed  -n  'n;p'  FILE：显示偶数行；sed  '1!G;h;$!d'  FILE：逆序显示文件的内容；sed  ’$!d'  FILE：取出最后一行；sed  '$!N;$!D' FILE：取出文件后两行；sed '/^$/d;G' FILE：删除原有的所有空白行，而后为所有的非空白行后添加一个空白行；sed  'n;d'  FILE：显示奇数行；sed 'G' FILE：在原有的每行后方添加一个空白行；

作业：

1.删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符        sed 's/^[[:space:]]*//gp' /etc/grub2.cfg2.删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符        sed 's/^#[[:space:]]\+//g' /etc/fstab3、在centos6系统/root/install.log每一行行首增加#号        sed 's/^/#/' /root/install.log4、在/etc/fstab文件中不以#开头的行的行首增加#号        sed  -n '/^#/!{s/^/#/p}' /root/f1        sed  's/^[^#]\|^$/#&/' /root/f15、处理/etc/fstab路径,使用sed命令取出其目录名和基名        echo "/etc/sysconfig/network-scripts" |sed -r 's@(^/.*/)([^/]+/?)@\2@'        echo "/etc/sysconfig/network-scripts" |sed -r 's@(^/.*/)([^/]+/?)@\1@'6、利用sed 取出ifconfig命令中本机的IPv4地址        ifconfig eth0|sed  -n -e '2s/^.*r://' -e '2s/ .*//p'7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数        ls -1  /misc/cd/Packages/ |sed -nr "s@(.*\.)([[:alnum:]_]+\.rpm)@\2@p" |sort |uniq -c|sort -n8、统计/etc/init.d/functions文件中每个单词的出现次数，并排序（用grep和sed两种方法分别实现）        grep  -o "[[:alpha:]]\+" /etc/init.d/functions |sort|uniq -c|sort -nr        sed -nre 's/[^[:alpha:]]+/\n/gp'  /etc/init.d/functions |sort | uniq -c|sort -n9、将文本文件的n和n+1行合并为一行，n为奇数行        nl f1|sed -n "N;s/\n//p"

后话

做这种题最重要是练习，练得多了，自然就会了，没有必要找好多文章来说明一种命令的用法，还是慢慢体会的好