sed的基础应用

sed是一个非交互式的文本编辑器；sed一行一行的处理文件
sed有模式空间（主要活动空间）和缓存空间（辅助空间）两个空间：
模式空间（pattern space）将文件中的一行内容读取到临时缓冲区（模式空间），经过处理后进行输出并清空空间内容；
保持空间（hold space）：保持空间不会自动清空也不会主动打印，需要通过命令和模式空间进行交互，主要用于sed的高级命令处理，是sed的辅助空间。



一、正则表达式
很多工具语言都支持使用正则表达式，但是sed中有些正则不能用，sed不支持\d类、\D、\W反义类，零宽断言、懒惰（非贪婪）模式

sed中使用正则表达的注意点
1.sed默认为贪婪模式，不支持懒惰模式
2.sed中使用正则表达式注意sehll特殊字符冲突问题，比如\(exp\)，但是可以使用-r参数解决冲突
3.sed中不支持使用\d和反义的\W等表达方式

下面是正则表达式的一些基础内容
【元字符】
. 匹配换行符之外的任意字符
\w 匹配字母、数字、下划线或汉字
\s 匹配任意的空白符
\d 匹配数字
\b 匹配单词的开始和结束
^ 匹配字符串的开始
$ 匹配字符串的结束
\ 转义字符（比如想要匹配.的时候需要进行转义）
【限定符】
* 重复0或更多次
+ 重复1次或更多次
？ 重复0次或1次
{m} 重复m次
{m,} 重复m次或更多次
{m,n} 重复m到n次
{,n} 重复0次到n次
[1-9] 指定范围内的字符，1-9范围内的，或者a-z，A-Z，或者用逗号隔开的字符
【反义符】（大写的与元字符内容相反）
\W 匹配任意不是字母、数字、下划线、汉字的字符
\S 匹配任意不是空白符的字符
\D 匹配任意不是数字的字符
\B 匹配任意不是单词开头和结束的位置
[^xyz] 匹配除了xyz这几个字母以外的任意字符
【捕获】
(exp) 匹配exp，通过小括号捕获文本到自动命名的组里。
(?<name>ex) 匹配ex，并捕获文本到名称为name的组里
(?:exp) 匹配exp，不捕获匹配的文本，也不分配组号
【零宽断言】
(?=exp) 匹配exp前面的位置
(?<=exp) 匹配exp后面的位置
(?！exp) 匹配后面跟的不是exp的位置
(?<！exp) 匹配前面跟的不是exp的位置
【贪婪与懒惰】
*? 重复任意次，但尽可能少的重复
+? 重复1次或更多次，但尽可能少的重复
?? 重复0次或1次，但尽可能少的重复
{n,m}? 重复n到m次，但尽可能少的重复
{n,}? 重复n次以上，但尽可能少的重复

二、sed基础命令
1.sed的命令格式
sed [-options] [commands] filename
sed [-options] --f scriptfile filename

command格式：
[address-range] [pattern-to-match] [sed-command]
例如：sed -n '5,8p' passwd（打印passwd文件中第5到第8行的数据）

下面是一个命令格式的图：



说明：
1.sed命令的寻址和正则表达式不是必填项
2.行号寻址：（line1,line2）使用m,n表示通过行号寻址，读取文件m到n行（例如5,8）；如果只有一个数字m表示读取第m行
3.正则表达式寻址：（/pattern/ ），使用/pattern/来匹配行，正则需要放到//中。如果用到了()[]等需要用\进行转义；也可以使用sed的-r参数，这样就不需要转义了
4.使用行号和正则来寻址：（line1,/pattern/），来寻找line1行到匹配到/pattern/的行，如果找不到/pattern/则从line1开始一直读取到结束

【sed的-options】
-n 抑制输出，只打印匹配到的行。如果不加-n会打印出一行行读入缓冲区后默认打印的所有行。
例如下面的打印passwd文件以bash结尾的内容：
不加-n：



加-n：





-i 修改原文件。比如删除d，追加a，修改等
-r 正则匹配时，不需要对()进行转义了
-e 多重编辑。sed -e '1,3d' -e 's/abc/def/g' filename

【sed的command的命令】
p 打印
d 删除（如果需要直接操作原文件，需要用到sed -i 操作）
s 1.提取内容，s/正则表达式/\1\2/p。s/(.*)/\1/p（\1表示捕获第一个小括号内的内容。\n来表示第n个捕获的内容）
2.替换内容，s/要替换的内容/替换的内容/g。如果用g表示全局替换，不加g只替换找到的第一个字符串
i 在匹配的行前加入一行。sed -i '5i\要插入的内容\' filename
a 在匹配的行后追加一行。sed -i '5a\要追加的内容\' filename
c 修改匹配到的行。sed -i '5c\要修改的内容' filename
y 转换符。y/要转换的字符/转换后的字符/。注意：要转换的字符和转换后的字符个数是相等的，且是一一对应的关系。如果有多个字符要转换，他会按照命令中的位置将对应的字符全部转换成转换后的样子
q 退出。不再进行sed处理
w 写到新文件。sed '/要匹配的行/w newfile' filename

2.sed命令的实战
【查找】
例子：查找passwd文件中以bash结尾的行并打印出来
sed -n '/bash$/p' passwd
【删除】
例子：删除passwd中以test开头的行
sed -i '/^test/d' passwd
【打印】
例子：打印passwd文件中第3到第8行的内容
sed -n '3,8p' passwd
【提取】
例子：提取passwd中有登录shell（结尾为bash）的用户名及其家目录
下面两种写法结果都一样。s命令前可以先用正则匹配行
sed -rn 's/(.*)[x:0-9]*([\/a-z]*):\/bin\/bash$/\1 \2/p' passwd
sed -nr '/bash$/s/(\w+):\w:[0-9]+:[0-9]+:.*:(.*):.*/\1 \2/p' passwd
【替换】
例子：将passwd文件中的nologin全部替换为meitian
sed -i 's/nologin/meitian/g' passwd
注意：如果不加g则只会替换第一个字符串，加g是全局的进行替换
【插入】
例子：在passwd第5行上插入一行hello world
sed -i '5i\hello world' passwd
例子：在psswd第5行下面追加一行hello world
sed -i '5a\hello world' passwd
【修改】
例子：将第5行的内容修改为hello world
sed -i '5c\hello world' passwd
【转换】
例子：将abcdef转换成对应的数字123456
echo "aaddddxxxxaacfedbsdf"| sed 'y/abcdef/123456/'





【退出】
例子：passwd文件，处理到第5行退出
sed '5q' passwd

三、实战中的一些注意点
1.在sed命令中使用变量（$a类型），sed后面的命令必须使用双引号括起来，否则$会被当成普通字符
例子：将passwd文件中的root变更为变量name中的值
sed -i "s/root/$name/g" passwd



2.修改内容时，可以使用正则的()捕获内容，然后通过\1等简化要修改的脚本
例子：去掉hosts文件前所有行前面的#号
sed -i 's/^#(.*)/\1/g' hosts
3.将sed提取到的值赋值到变量
例子：将本机的IP地址赋值到变量ip。
方法一：使用变量名=$(打印变量值)
ip=$(ifconfig eth0 | sed -nr 's/\s+inet addr:([0-9]+.[0-9]+.[0-9]+.[0-9]+) .*/\1/p')


　　


方法二：使用eval $(打印变量名=变量值)
eval $(ifconfig eth0 | sed -nr '/inet/s/\s+inet addr:([0-9]+.[0-9]+.[0-9]+.[0-9]+) .*/ip=\1/p' )
4.sed命令在使用时会在当前处理的文件目录下生成一个缓存文件，但是有的文件目录只有root有权限。如果我们没有root权限，也不知道sudo的密码。可以将文件先cp到一个有权限的目录下进行操作，然后文件处理后再cp回来。

sed还有很多高级命令，比如G等，可以再多了解一下，以便达到更高效的使用。
用了awk和sed后，我个人觉得如果只是对数据进行提取，用awk更灵活更方便。而对一个文件进行编辑修改，还是用sed更方便一些。各有各的好处。另外在使用awk处理文件时会感觉处理过程有点慢。