Linux之sed详解

文本处理三剑客：
grep, egrep, fgrep：文本过滤器
sed：Stream EDitor，流编辑器，行
awk：文本格式化工具，报告生成器

sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”
（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。

sed命令格式
sed [OPTION]... 'script' [input-file] ...
script：地址定界编辑命令

常用选项(OPTION)：
-n：不输出模式空间中的内容至屏幕；
-e script, --expression=script：多点编辑；
-f /PATH/TO/SED_SCRIPT_FILE
每行一个编辑命令；
-r, --regexp-extended：支持使用扩展正则表达式；
-i[SUFFIX], --in-place[=SUFFIX]：直接编辑原文件 ；
~]# sed -e 's@^#[[:space:]]*@@' -e '/^UUID/d' /etc/fstab

地址定界(script)：
(1) 空地址：对全文进行处理；
(2) 单地址：
#：指定行；
/pattern/：被此模式所匹配到的每一行；
(3) 地址范围
#,#：
#,+#：
#，/pat1/
/pat1/,/pat2/
$：最后一行；
(4) 步进：~
1~2：所有奇数行
2~2：所有偶数行

编辑命令：
d：删除；
p：显示模式空间中的内容；
a \text：在行后面追加文本“text”，支持使用\n实现多行追加；
i \text：在行前面插入文本“text”，支持使用\n实现多行插入；
c \text：把匹配到的行替换为此处指定的文本“text”；
w /PATH/TO/SOMEFILE：保存模式空间匹配到的行至指定的文件中；
r /PATH/FROM/SOMEFILE：读取指定文件的内容至当前文件被模式匹配到的行后面；文件合并；
=：为模式匹配到的行打印行号；
!：条件取反；
地址定界!编辑命令；
s/*/*/*：查找替换，其分隔符可自行指定，常用的有s@@@, s###等；
替换标记：
g：全局替换；
w /PATH/TO/SOMEFILE：将替换成功的结果保存至指定文件中；
p：显示替换成功的行；

举例：（将/etc/fstab文件cp到/tmp/fstab下）

删除某行

[root@bogon ~]# sed '1d' /tmp/fstab #删除第一行

[root@bogon ~]# sed '$d' /tmp/fstab #删除最后一行

[root@bogon ~]# sed '1,2d' /tmp/fstab #删除第一行到第二行

[root@bogon ~]# sed '/boot/d' /etc/fstab #删除包含boot字符串的行

显示某行

[root@bogon ~]# sed -n '6p' /tmp/fstab   #显示第6行

这里要加上-n选项，否则模式空间里的内容为文件的全部内容，默认也会输出。

[root@bogon ~]# sed -n '2，$p' /tmp/fstab  #显示第二行到最后一行

使用模式进行查询

[root@bogon ~]# sed -n '/^#/p' /tmp/fstab #查询以#开头的行并输出

文本插入、替换

文本插入

[root@bogon ~]# sed '/^#/a \this test' /tmp/fstab

a \text：在行后面追加文本“text”，支持使用\n实现多行追加；

[root@bogon ~]# sed '/^#/i \this test' /tmp/fstab

i \text：在行前面插入文本“text”，支持使用\n实现多行插入

行替换

[root@bogon ~]# sed '/^#/c\*' /tmp/fstab

将以#开头的行替换为*

[root@bogon ~]# sed -n '/^#/w/tmp/sed.txt' /tmp/fstab

保存模式空间匹配到的行至指定的文件中。将以#开头的行保存到/tmp/sed.txt中

文件合并(读取指定文件的内容至当前文件被模式匹配到的行后面)

[root@bogon ~]# sed '/^#/ r ./abc.txt' /tmp/fstab

将以#号开头的行后面分别加上abc.txt文件里的内容

为模式匹配到的行打印行号

[root@bogon ~]# sed '/^#/=' /tmp/fstab

文本查找与替换

[root@bogon ~]# sed 's@#@*@g' /tmp/fstab

将#替换为*。文本字符串替换

[root@bogon ~]# sed 's@#@*@w abc.txt' /tmp/fstab

将符合替换条件的行写入到文本中

[root@bogon ~]# sed 's@UUID@uuid@g' /tmp/fstab

将UUID替换为uuid

练习1：删除/boot/grub/grub2.cfg文件中所有以空白字符开头的行的行首的所有空白字符；

[root@bogon ~]#sed  's@^[[:space:]]\+@@' /etc/grub2.cfg

练习2：删除/etc/fstab文件中所有以#开头的行的行首的#号及#后面的所有空白字符；

[root@bogon ~]# sed  's@^#[[:space:]]*@@'  /etc/fstab

练习3：输出一个绝对路径给sed命令，取出其目录，其行为类似于dirname；

[root@bogon  ~]# echo "/var/log/messages/" | sed 's@[^/]\+/\?$@@'
[root@bogon ~]# echo "/var/log/messages" | sed -r 's@[^/]+/?$@@'

------------------------------------------高级进阶-----------------------------------------

高级编辑命令：
h：把模式空间中的内容覆盖至保持空间中；
H：把模式空间中的内容追加至保持空间中；
g：把保持空间中的内容覆盖至模式空间中；
G：把保持空间中的内容追加至模式空间中；
x：把模式空间中的内容与保持空间中的内容互换；
n：覆盖读取匹配到的行的下一行至模式空间中；
N：追加读取匹配到的行的下一行至模式空间中；
d：删除模式空间中的行；
D：删除多行模式空间中的所有行；

示例：
sed -n 'n;p' FILE：显示偶数行；
sed '1!G;h;$!d' FILE：逆序显示文件的内容；
sed ’$!d' FILE：取出最后一行；
sed '$!N;$!D' FILE：取出文件后两行；
sed '/^$/d;G' FILE：删除原有的所有空白行，而后为所有的非空白行后添加一个空白行；
sed 'n;d' FILE：显示奇数行；
sed 'G' FILE：在原有的每行后方添加一个空白行；