Unix awk命令(3) -- awk命令详解

http://www.lupaworld.com/94908/viewspace-44960.html

1.调用awk:

第一种方式：命令行方式

awk [-F field-separator] 'commands' input-file(s)

[-F域分隔符]是可选的，因为awk使用空格作为缺省的域分隔符，因此如果要浏览域间有空格的文本，不必指定这个选项，如果要浏览诸如passwd文件，此文件各域以冒号作为分隔符，则必须指明-F选项，如：

awk -F: 'commands' input-file

第二种方式是将所有awk命令插入一个文件，并使awk程序可执行，然后用awk命令解释器作为脚本的首行，以便通过键入脚本名称来调用它。

第三种方式是将所有的awk命令插入一个单独文件，然后调用：

awk -f awk-scrīpt-file input-files(s)

-f选项指明在文件awk_scrīpt_file中的awk脚本，input_file(s)是使用awk进行浏览的文件名。

2.awk脚本

2.1 模式和动作

任何awk语句都由模式和动作组成。在一个awk脚本中可能有许多语句。模式部分决定动作语句何时触发及触发事件。处理即对数据进行的操作。如果省略模式部分，动作将时刻保持执行状态。

模
式可以是任何条件语句或复合语句或正则表达式。模式包括两个特殊字段
BEGIN和END。使用BEGIN语句设置计数和打印头。BEGIN语句使用在任何文本浏览动作之前，之后文本浏览动作依据输入文本开始执行。END语
句用来在awk完成文本浏览动作后打印输出文本总数和结尾状态标志。

2.2 域和记录

使用$1,$3表示参照第1和第3域，注意这里用逗号做域分隔。如果希望打印一个有5个域的记录的所有域，可使用$0，意即所有域。

为打印一个域或所有域，使用print命令。这是一个awk动作

(1) 抽取域

(2) 保存awk输出

$ awk '{print $0}' grade.txt > wow

使用这种方法，显示屏上不会显示输出结果。直接输出到文件。

使用tee命令，在输出文件的同时，输出到屏幕

$ awk '{print $0}' grade.txt | tee delete_me_and_die

(3) 使和标准输入

使用awk脚本输入文件格式：

● $ belts.awk grade_student.txt

● $ belts.awk < grade2.txt

● $ grade2.txt | belts.awk

(4) 打印所有记录

$ awk '{print $0}' grade.txt

(5) 打印单独记录

$ awk '{print $1,$4}' grade.txt

(6) 打印报告头

域间使用/t进行划分。下划线使用/n强迫启动新行

$ awk 'BEGIN {print "Name Belt/n----------------------------------"} {print $1"/t"$4}' grade.txt

(7) 打印信息尾

使用END语句

$ awk 'BEGIN {print "Name/n---------"} {print $1} END {"end-of-report"}' grade.txt
2.5 条件操作符

(1) 匹配:

$ awk '{if ($4~/Brown/) print $0}' grade.txt

如果在文本中查询字符串"Brown"，使用/Brown/

$ awk '$0 ~ /Brown/' grade.txt

(2) 精确匹配

$ awk '$3 == "48" {print $0}' grade.txt

$ awk '{if ($3=="48") print $0}' grade.txt

(3) 不匹配

$ awk '$0 !~ /Brown/' grade.txt

$ awk '{if($4 !~ /Brown/) print $0' grade.txt

精确不匹配

$ awk '$4 != "Brwon-2" {print $0}' grade.txt

(4) 小于

$ awk '{if ($6 < $7) print $0 "$1 Try better at the next comp"}' grade.txt

(5) 小于等于

$ awk '{if ($6 <= $7) print $1}' grade.txt

(6) 大于

$ awk '{if ($6 > $7) print $1}' grade.txt

(7) 设置大小写

$ awk '/[Gg]reen/' grade.txt

(8) 任意字符

抽取名字，其记录第一域的第四个字符是a，使用句点.。表达式/^...a/意为行首前三个字符任意，第四个是a，尖角符号代表行首。

$ awk '$1 ~/^...a/' grade.txt

(9) 或关系匹配

为抽取级别为yellow或brown的记录，使用竖线符|。意为匹配｜两边模式之一。注意，使用竖线符时，语句必须用圆括号括起来。

$ awk '$0~/(Yellow|Brown)/' grade.txt

(10) 行首

$ awk '/^48/' input-file

(11) AND

&& 意味着两边匹配均为真

$ awk '{if ($1 == "P.Bunny" && $4 == "Yellow") print $0}' grade.txt

(12) OR

$ awk '{if ($4 == "Yellow" || $4 ~ /Brown/) print $0}' grade.txt
2.6 awk内置变量

最常用的一些变量

--------------------------------------------------------

ARGC 命令行参数个数

ARGV 命令行参数排列

ENVIRON 支持队列中系统环境变量的使用

FILENAME awk浏览的文件名

FNR 浏览文件的记录数

FS 设置输入域分隔符，等价于命令行-F选项

NF 浏览记录的域个数

NR 已读的记录数

OFS 输出域分隔符

ORS 输出记录分隔符

RS 控制记录分隔符

--------------------------------------------------------
2.7 NF、NR和FILENAME

NR代表记录处数

$ awk 'END {print NR}' grade.txt

$ 5

打印所有学生的记录，并带有其记录号，并在END部分打印输入文件名

NF显示一条记录中有几个域

$ awk '{print NF,NR,$0}END{print FILENAME}' grade.txt

在从文件中抽取信息时，先检查文件中是否有记录。使用AND实现

$ awk '{if (NR > 0 && $4~/Brown/) print $0}' grade.txt

NF的强大功能是将变量$PWD的返回值传入awk并显示其目录。这里需要指定域分隔符

$ pwd

/usr/local/etc

$ echo $PWD | awk -F/ '{print $NF}'

另一个例子是显示文件名:

$ echo "/usr/local/etc/rc.sybase" | awk -F/ '{print $NF}'

rc.sybase
2.8 awk操作符

awk使用操作符，基本表达式可以划分为数字型、字符串型、变量型、域及数组元素，

-----------------------------------------------------

= += *= /= %= ^= 赋值操作符

? 条件表达操作符

|| && ! 并、与、非

~ !~ 匹配操作符，包括匹配与不匹配

< <= == != >> 关系操作符

+ - * / % ^ 算术操作符

++ -- 前缀和后缀

-----------------------------------------------------

(1)设置输入域到域变量名

一般的变量名设置方式为name = $n，这里name为调用的域变量名，n为实际域号。

例如，设置学生域名为name，级别域名为belt，操作为name = $1; belts = $4。注意分号，它分隔awk命令。

$ awk '{name = $1; belts = $4; if(belts ~/Yellow/) print name " is belt " belts}' grade.txt

$ P.Bunny is belt Yellow
(2) 域值比较操作

有两种方式测试一数值域是否小于另一数值域

1)在BEGIN中给变量名赋值。

2)在关系操作中使用实际数值。

查询所有比赛中得分在27点的学生

$ awk '{if ($6 < 27) print $0}' grade.txt

J.Lulu 06/99 48317 green 9 24 26

J.Troll 07/99 4842 Brown-3 12 26 26

使用BEGIN

$ awk 'BEGIN {BASELINE="27"} {if ($6 < BASELINE) print $0}' grade.txt
(3) 修改数值域取值

当在awk中修改任何域时，修改的只是缓存里的awk复本。awk会在变量NR和NF变量中反映出修改痕迹。

$1=$1+5，会将域1数值加5，但要确保赋值域其子集为数值型。

修改M.Tansley的目前级别分域，

awk '{if ($1 == "M.Tansley") $6=$6-1; print $1, $6, $7}' grade.txt
(4) 修改文本域

修改文本域即对其重新赋值。需要做的就是赋给一个新的字符串。

$ awk '{if ($1 == "J.Troll") ($1 = "J.L.Troll"); print $1}' grade.txt
(5) 只显示修改记录

在模式后面使用花括号将只打印修改部分。取得模式，再根据模式结果实施操作。

$ awk '{if ($1 == "J.Troll") {$1 = "J.L.Troll"; print $1}}' grade.txt
(6) 创建新的输出域

如创建一个基于其他域的加法新域{$4 = $2 + $3}，假定记录包含3上域，则域4为新建域。

在文件grade.txt中创建新域8保存域目前级别分与域域最高级别分的减法值。表达式为'{$8 = $7 - $6}'，语法首先测试域目前级别分小于域最高组别分。

$ awk 'BEGIN {print "Name/t Difference"} {if ($6 < $7) {$8 = $7 - $6; print$1, $8}}' grade.txt

可以创建新域，赋给更有意义的变量名

$ awk 'BEGIN {print "Name/t Difference"} {if ($6 < $7) {diff = $7 - $6; print$1, diff}}' grade.txt
(7) 增加列值

为增加列数或进行运行结果统计，使用符号 +=。增加的结果赋给符号左边变量值，增加到变量的域在符号右边。例如将$1加入变量total，表达式为total+=$1。

将所有学生的'目前级别分'加在一起，方法是tot+=$6，tot即为awk浏览的整个文件的域6结果总和。

$ awk '{(tot+=$6)}; END {print "Club student total points : " tot}' grade.txt

Club student total points : 155
(8) 文件长度相加

在目录中查看文件时，快速查看所有文件的长度及其总和，但要排除子目录。使用ls -l，然后管道输出到awk

$ ls -l | awk '/^[^d]/ {print $9"/t"$5} {tot+=$5} END {print "total KB : " tot}'

data.f 193

grade.txt 179

grepstring 7

local.cshrc 136

local.login 157

local.profile 174

results.txt 2129

wow 179

total KB : 4690
(9) 内置的字符串函数

awk内置字符串函数

-----------------------------------------------------------

gsub(r,s) 在整个$0中用s替代r

gsub(r,s,t) 在整个t中用s替代r

index(s,t) 返回s中字符串t的第一个位置

length(s) 返回s长度

match(s,r) 测试s是否包含匹配r的字符串

split(s,a,fs) 在fs上将s分成序列a

sprint(fmt,exp) 返回经fmt格式化后的exp

sub(r,s) 用$0中最左边最长的子串代替s

substr(s,p) 返回字符串s中从p开始的后缀部分

substr(s,p,n) 返回字符串s中从p开始长度为n的后缀部分

-----------------------------------------------------------

■gsub:
■index:

$ awk 'BEGIN {print index("Bunny", "ny")}' grade.txt

4
■length:

$ awk '$1 == "J.Troll" {print length($1)" "$1}' grade.txt

7 J.Troll

$ awk 'BEGIN{print length("A FEW GOOD MEN")}'

14
■match：如果不存在，返回0
■split

返回字符串数组元素个数。

$ awk 'BEGIN {print split("123#456#678", myarray, "#")}'

3
■sub

使用sub发现并替换模式的第一次出现位置。字符串STR包含'poped popo pill'，执行下列sub命令

sub(/op/, "op", STR)。结果 'pOPed pope pill'

$ awk '$1 == "L.Tansley" {print substr($1, 1, 5)}' grade.txt

L.Tan
■substr:

它按照起始位置及长度返回字符串的一部分。

$ awk '$1 == "L.Tansley" {print substr($1, 1, 5)}' grade.txt

L.Tan

substr的另一种形式是返回字符串后缀或指定位置后面的字符

$ awk '{print substr($1, 3)}' grade.txt

在BEGIN部分定义字符串，在END部分返回从第t个字符开始抽取的子串。

$ awk 'BEGIN {STR="A FEW GOOD MEN"} END {print substr(STR, 7)}' grade.txt

GOOD MEN
■从shell中向awk传入字符串:

通过管道把字符串传入awk

$ echo "Stand-by" | awk '{print length($0)}'

8

设置文件名为一变量，管道输出到awk，返回不带扩展名的文件名

$ STR="mydoc.txt"

$ echo $STR | awk '{print substr($STR,1,5)}'

mydoc
(10)字符串屏蔽序列

使用字符串或正则表达式时，有时需要在输出中加入一新行或查询一元字符。

awk中使用的屏蔽序列

------------------------------------------------------------

/b 退格键 /t tab键

/f 走纸换页 /ddd 八进制值

/n 新行 　 /c 任意其他特殊字符，例如//为返斜线符号

/r 回车键

------------------------------------------------------------

打印May Day，中间夹tab键，后跟两个新行，再打印May Day，这次使用八进制数

$ awk 'BEGIN{print "May/tDay/n/nMay/t/104/141/171"}'
(11) awk输出函数printf

awk printf修饰符

----------------------------------------------------------------

- 左对齐

Width 域的步长，用0表示0步长

.prec 最大字符串长度，或小数点右边的位数

----------------------------------------------------------------
awk printf格式

-------------------------------------------------------------

%c ASCII字符

%d 整数

%e 浮点数，科学记数法

%f 浮点数，例如(123.44)

%g awk决定使用哪种浮点数转换e或者f

%o 八进制数

%s 字符串

%x 十六进制数

--------------------------------------------------------------

■ 字符转换

观察ASCII码中65的等价值。管道输出65到awk。

$ echo "65" | awk '{printf "%c/n", $0}'

A

当然也可以按同样方式使用awk得到同样结果

$ awk 'BEGIN {printf "%c/n", 65}'

A

所有的字符转换都一样，下面的例子表示进行浮点数转换后'999'的输出结果。整数传入后被加了小数点。

$ awk 'BEGIN {printf "%f/n", 999}'
■ 格式化输出

打印所有的学生名字和序列号，要求名字左对齐，15个字符长度，后跟序列号。注意/n换行符放在最后一个指示符后面。输出将自动分成两列。

$ awk '{printf "%-15s %s/n", $1, $3}' grade.txt

M.Tansley 48311

J.Lulu 48317

P.Bunny 48

J.Troll 4842

L.Tansley 4712

加入文本注释帮助理解报文含义。可在正文前嵌入头信息。

$ awk 'BEGIN {print "Name /t/tS.Number"} {printf "%-15s %s/n", $1, $3}' grade.txt

Name S.Number

M.Tansley 48311

J.Lulu 48317

P.Bunny 48

J.Troll 4842

L.Tansley 4712
■ 向一行awk命令传值

在查看awk脚本前，先来查看怎样在awk命令行中传递变量。

awk执行前将值传入awk变量，需要将变量放在命令行中，格式如下：

awk 命令变量　= 输入文件值

在命令行中设置变量AGE等于10，然后传入awk中，查询年龄在10岁以下的所有学生

$ awk '{if ($5 < AGE) print $0}' AGE=10 grade.txt

要快速查看文件系统空间容量，观察其是否达到一定水平。

$ df -k | awk '($4 ~/^[0-9]/) {if ($4 < TRIGGER) print $6"/t"$4}' TRIGGER=56000

使用who命令，who命令第一列包含注册用户名。

# who | awk '{print $1 " is logged on"}'

root is logged on

root is logged on

sun is logged on

awk传入环境变量。使用环境变量LOGNAME支持当前用户名。

# who | awk '{if ($1 == user) print $1 " you are connected to" $2}' user=$LOGNAME

root you are connected toconsole

root you are connected topts/4

Unix awk命令(1) -- awk命令介绍

Unix awk命令(2) -- awk命令手册

Unix awk命令(3) -- awk命令详解