sed与awk命令小结

1.sed命令小结

Sed是一个非交互式文本编辑器，它可对文本文件和标准输入进行编辑，标准输入可以是来自键盘输入、文件重定向、字符串、变量，甚至来自管道的文本。Sed从文本的一个文本行或标准输入中读取数据，将其复制到缓冲区，然后读取命令行或脚本的第一个命令，对此命令要求的行号进行编辑，重复此过程，直到命令行或脚本中的所有命令都执行完毕。相对于vi等其他文本编辑器，sed可以一次性处理所有的编辑任务，显得非常高效，为用户节省了大量的时间。1. 语法：sed [OPTION]... {script} [input-file]...
工作机制：每次读取一行文本至“模式空间(pattern space)”中，在模式空间中完成处理；将处理结果输出至标准输出设备； -r支持扩展正则 -n静默模式：不输出，只编辑 -e script1 –e script2 –e script3多点编辑 -f 从配置文件中读取脚本，然后按脚本执行 -i 直接修改源文件；默认是不修改源文件的 地指定界： #:指定行 $:最后一行 /regexp/：能够被regexp所匹配的行 \%regexp%：同上

/regexp/|\%regexp%忽略字符大小写
开始行，结束行： #, /regexp/:从#开始，披到到/regexp/结束 #,#1：#开始，#1结束 /regexp1/,/regexp2/，从匹配1开始到匹配2结束 #,+n：#开始，匹配之后的n行 first~step:first开始，step步进 2.sed的编辑命令
(1)打印某行 sed -n 'n'p filename 单引号内的n是一个数字，表示第几行:

#sed -n '2'p/etc/passwd

要想把所有行都打印出来可以使用 sed -n '1,$'p filename

#sed -n '1,$'p /etc/passwd

也可以指定一个区间:

#sed -n '1,3'p /etc/passwd

(2)打印包含某个字符串的行

#sed -n '/root/'p /etc/passwd

grep中使用的特殊字符，如 ^ $ . * 等同样也能在sed中使用

#sed -n '/^root/'p/etc/passwd

#sed -n '/in$/'p /etc/passwd

(3)-e可以实现多个行为

#sed -e '1'p -e'/^ftp/'p -n /etc/passwd

(4)删除某行或者多行

#sed '1'd /tmp/passwd

#sed '1,3'd /tmp/passwd

#sed '/adm/'d /tmp/passwd

‘d’ 这个字符就是删除的动作了，不仅可以删除指定的单行以及多行，而且还可以删除匹配某个字符的行，另外还可以删除从某一行一直到文档末行。 (5)替换字符或字符串

#sed '1,2s/ot/to/g'/tmp/passwd

上例中的 ‘s’ 就是替换的命令， ‘g’ 为本行中全局替换，如果不加 ‘g’ 只换该行中出现的第一个。除了可以使用‘/’ 作为分隔符外，还可以使用其他特殊字符例如 ‘#’ 或者‘@’ 都没有问题。 (6)调换两个字符串的位置

#sed 's/\(root\)\(.*\)\(bash\)/\3\2\1/'/tmp/passwd

这个就需要解释一下了，上例中用 () 把所想要替换的字符括起来成为一个整体，因为括号在sed中属于特殊符号，所以需要在前面加脱意字符 ‘’, 替换时则写成 ‘1’, ‘‘2’, ‘‘3’ 的形式。 (7)直接修改文件的内容

#sed -i 's/ot/to/g' /tmp/passwd

练习：1、删除/boot/grub/grub.conf文件中所有行首的空白字符

#sed's/^[[:space:]]\+//' /tmp/grub.conf

2、删除/etc/fstab文件中所有#开头，后至少跟一个空白字符的行的行首的#和空白字符

#sed's/^#[[:space:]]\+//' /etc/fstab

3、把/etc/fstab文件的奇数行另存为/tmp/fstab.3

#sed'1~2w /tmp/fstab.3' /etc/fstab

4、echo一个文件路径给sed命令，取出其基名，进一步取出其路径名取基名：

#echo "/etc/sysconfig/network-scripts/" | sed's@^.*/\([^/]\+\)/\?$@\1@'

取路径名：

#echo "/etc/sysconfig/network-scripts/" | sed's@[^/]\+/\?$@@'

3.高级命令:
保持空间，hold space保存模式空间中的内容 h：用模式空间内容覆盖保持空间内容 H：用模式空间内容追加保持空间内容 g：从保持空间中取1行内容覆盖到模式空间 G：从保持空间取呢容追加模式空间 x：交换内容 n：读取匹配行下一行，覆盖保持空间 N：读取匹配行，追加保持空间 d：删除模式空间的内容 D：删除多行模式空间中的首行注意：命令功能可使用!取反；分号可用于分隔脚本； 示例：在文件中的每行后方添加空白行；

#sed 'G' /etc/issue

保留最后一行；

#sed '$!d' /etc/fstab

保证指定的文件每一行后方有且只有一个空白行；

#sed '/^$/d;G' /etc/issue

保留奇数行；

#sed 'n;d' /etc/issue

2. awk编程小结

awk是由Aho, Weinberger和Kernighan共同开发的编程语言。基本语法与C语言类似。awk功能与sed相似，都是用来进行文本处理的，awk语言可以从文件或字符串中基于指定规则浏览和抽取信息，在抽取信息的基础上，才能进行其他文本操作。awk是一种编程语言，awk实际是指向gawk的符号链接。 1、基本语法awk [options] 'program' file file ...awk [options] 'PATTERN{action}' file file...-F CHAR：输入分隔符 2、awk的输出：print item1, item2,...要点：(1) 各项目之间使用逗号分隔，而输出时则使用输出分隔符分隔；(2) 输出的各item可以字符串或数值、当前记录的字段、变量或awk的表达式；数值会被隐式转换为字符串后输出；(3) print后面item如果省略，相当于print $0；输出空白，使用pirnt ""； 3、awk的变量内置变量，自定义变量3.1 内置变量FS：Field Seperator, 输入时的字段分隔符示例：

#awk 'BEGIN{FS=":"}{print $1,$7}' /etc/passwd

RS：Record Seperator, 输入行分隔符OFS: Output Field Seperator, 输出时的字段分隔符;ORS: Outpput Row Seperator, 输出时的行分隔符；NF：Numbers of Field，字段数NR：Numbers of Record, 行数；所有文件的一并计数；FNR：行数；各文件分别计数；ARGV：数组，保存命令本身这个字符，awk '{print $0}' 1.txt 2.txt，意味着ARGV[0]保存awk,ARGC: 保存awk命令中参数的个数；FILENAME： awk正在处理的当前文件的名称； 3.2 可自定义变量 -v var_name=VALUE 变量名区分字符大小写； (1) 可以program中定义变量； (2) 可以命令行中通过-v选项自定义变量； 4、awk的printf命令命令的使用格式：printfformat, item1, item2,...要点： (1) 要指定format； (2) 不会自动换行；如需换行则需要给出\n (3) format用于为后面的每个item指定其输出格式； format格式的指示符都%开头，后跟一个字符： %c: 显示字符的ASCII码； %d, %i: 十进制整数； %e, %E: 科学计数法显示数值； %f: 显示浮点数； %g, %G: 以科学计数法格式或浮点数格式显示数值； %s: 显示字符串； %u: 显示无符号整数； %%: 显示%自身； 修饰符： #：显示宽度 -：左对齐 +：显示数值的符号 .#: 取值精度 5、awk输出重定向print items > output-fileprint items >> output-fileprint items | command 特殊文件描述符：/dev/stdin: 标准输入/dev/stdout: 标准输出/dev/stderr: 错误输出 6、awk的操作符算术操作符： x+y x-y x*y x/y x**y, x^y x%y -x：负值 +x：转换为数值 字符串操作符：连接 赋值操作符： = += -= *= /= %= ^= **= ++ -- 如果模式自身是=号，要写为/=/ 比较操作符： < <= > >= == != ~：模式匹配，左边的字符串能够被右边的模式所匹配为真，否则为假； !~: 与上面相反 逻辑操作符： &&： 与 ||：或 条件表达式: selector?if-true-expression:if-false-expression 示例：

#awk -F: '{$3>=1000?utype="commonuser":utype="admin or system user";print$1,"is",utype}' /etc/passwd

函数调用： function_name(argu1,argu2) 7、模式(1) Regexp: 格式为/PATTERN/ 仅处理被/PATTERN/匹配到的行；(2) Expression: 表达式，其结果为非0或非空字符串时满足条件； 仅处理满足条件的行；(3) Ranges: 行范围，此前地址定界， NR 仅处理范围内的行(4) BEGIN/END: 特殊模式，仅在awk命令的program运行之前（BEGIN）或运行之后（END）执行一次；(5) Empty:空模式，匹配任意行； 8、常用的action(1) Expressions(2) Control statements(3) Compound statements(4) input statements(5) output statements 9、控制语句9.1 if-else 格式：if(condition) {then body} else {else body}示例：

#awk -F: '{if($3>=500) {print $1,"is a common user"} else {print $1, "isan admin or system user"}}' /etc/passwd

#awk '{if (NF>=8){print}}' /etc/inittab

9.2 while 格式：while(condition) {while body}示例：

#awk '{i=1; while(i<=NF){printf "%s ",$i;i+=2};print ""}' /etc/inittab

#awk '{i=1; while(i<=NF){if (length($i)>=6) {print $i}; i++}}' /etc/inittab

length()函数：取字符串的长度 9.3 do-while循环 格式：do{do-while body} while (condition) 9.4 for循环 格式：for(variable assignment; condition; iteration process) {for body}示例：

#awk '{for(i=1;i<=NF;i+=2){printf "%s ",$i};print ""}'/etc/initta

#awk '{for(i=1;i<=NF;i++){if (length($i)>=6) print $i}}' /etc/inittab

for循环可用来遍历数组元素： 语法：for (i inarray) {for body} 9.5 case语句 语法：switch(expression) {case VALUE or /RGEEXP/: statement1;... default: stementN} 9.6 循环控制 break continue 9.7 next 提前结束对本行的处理进而提前进入下一行的处理；

#awk -F: '{if($3%2==0)next;print $1,$3}' /etc/passwd

#awk -F: '{if(NR%2==0) next;print NR,$1}' /etc/passwd

10、数组传统数组：Index编号从1开始；关联数组： array[index-expression] index-expression: 可以使用任意字符串; 如果某数组元素事先不存在，那么在引用时，awk会自动创建此元素并将其初始化为空串；因此，要判断某数组是否存在某元素，必须使用“index in array”这种格式； A[first]="helloawk" printA[second] 要遍历数组中的每一个元素，需要使用如下特殊结构： for (var inarray) {for body} 其var会遍历array的索引； state[LISTEN]++ state[ESTABLISHED]++ 示例：

#netstat -tan| awk '/^tcp/{++state[$NF]}END{for (s in state) {print s,state[s]}}'

删除数组元素： delete array[index] 11、awk的内置函数split(string,array[,fieldsep[,seps]])： 功能：将string表示的字符串以fieldsep为分隔符进行切片，并切片后的结果保存至array为名的数组中；数组下标从1开始； root:x:0:0::/root:/bin/bash user[1]="root", user[2] 此函数有返回值，返回值为切片后的元素的个数 示例：

#netstat -tn | awk'/^tcp/{lens=split($5,client,":");ip[client[1]]++}END{for (i in ip)print i,ip[i]}'

length(string) 功能：返回给定字串的长度 substr(string,start[,length]) 功能：从string中取子串，从start为起始位置为取length长度的子串；