正则表达式的整理grep,sed,awk

首先，什么是正则表达式。

简单的说，正则表达式就是处理字符串的方法，它是以行为单位来进行字符串的处理行为，正则表达式通过一些特殊符号的辅助，可以让用户轻易达到查找、删除、替换某特定字符串的处理程序

正则表达式 REGEXP:REGular EXPression

basic REGEXP：基本

Extended REGEXP:扩展

grep的用法：

功能：进行字符串数据的对比，然后将符合用户需求的字符串打印出来，以整行为单位来进行选取的，选取的结果丢弃不符号标准的行

#grep

-i ：忽略大小写

--color

-v ：显示没有被模式匹配到的行

-o ：只显示被模式匹配的字符串

-E:使用扩展正则表达式

-A #：（#为数字）附带显示后2行

-B #：（#为数字）附带显示前2行

-C #：（#为数字）附带显示前后2行

*：任意长度的任意字符

？：任意单个字符

[]：以内

[^]：以外

正则表达式：REGular EXPression ,REGEXP

元字符：

. :任意单个字符

[]：匹配指定范围内的任意单个字符

[^]:匹配指定范围外的任意单个字符

字符集合

[:digit:]：代表数字，既0-9

[:alnum:]：代表代表英文大小写字符及数字，即a-z,A-Z,0-9

[:blank:]：代表空格和[tab]键

[:alpha:]：代表代表英文大小写字符a-z,A-Z

[:cntrl:]：代表键盘上的控制按键，

[:graph:]：除了空格符（空格和[tab]键）以外的所有

[:lower:]：小写字符即a-z

[:print:]：代表任何可以打印出来的字符

[:punct:]：代表标点符号

[:upper:]：代表大写字符即A-Z

[:space:]：代表可以产生空白的字符

[:xdigit:]：代表16进制的数字类型，包括0-9，A-F,a-f

---------------------------------基础正则表达式字符

匹配次数（贪婪模式）：

* ：匹配其前面的字符任意次

.* ：任意长度的任意字符

\ ：转义字符，将有特殊意义的字符特殊意义除去

\？：匹配其前面的字符1次或0次

\{m,n\}：匹配其前面的字符至少m次，至多n次

位置锚定：

^ ：锚定行首，此字符后边的任意内容必须出现在行首

$：锚定行尾，此字符前边的任意内容必须出现在行尾

^$：空白行

\<或\b ：锚定词首，其后面的任意字符必须作为单词的首部出现

\>或\b ：锚定词尾，其前边的任意字符必须作为单词的尾部出现

分组：

\(\)

\(ab\)* ab可以出现0次或任意次

后向引用

\1:引用第一个左括号以及与之对应的右括号所包括的所有内容

\2:

\3:

sed用法：可将数据进行选取，删除，替换，新增等功能。

sed：Stream EDitor

行编辑器（全屏编辑器：vi）

sed [] 'AddressCommand' file ...

-n：静默模式，不在默认显示模式空间中的内容

-i：直接修改原文件

-e SCRIPT -e SCRIPT：可以同时执行多个脚本

-f /PATH/TO/SED_SCRIPT

sed -f /path/to/scripts file

-r：表示使用扩展正则表达式

Address：

1、StartLine , EndLine

比如1,100

$:最后一行

2、/RegExp/

/^root/

3、/pattern1/,/pattern2/

第一次被pattern1匹配到的行开始，至第一次被pattern2匹配到的行结束，这中间的所有行

4、LineNumber

指定的行

5、StartLine,+N

从startline开始，向后的N行；

Command

d：删除符合条件的行；

p：显示符合条件的行；

a \string：在指定的行后面追加新行，内容为string

\n：可以用户换行

i \string：在指定的行前面添加新行，内容为string

r FILE：将指定的文件的内容添加至符合条件的行处

w FILE：将地址指定范围内的内容另至指定的文件夹中；

s/pattern/string/修饰符：查找并替换,默认只替换每行中第一次被模式匹配到的字符串

加修饰符

g：全局替换

i：忽略字符大小写

s///：s### s@@@

\(\),\1,\2

&：引用模式匹配整个串

---------------------扩展正则表达式

+ ：重复1个或多个前一个字符

？：0个或1个前一个字符

| ：用或（or）的方式找出数个字符串

（）：分组

（）+：同上

#printf 格式化打印

\a 警告声音输出

\b 退格键

\f 清除屏幕

\n 输出新的一行

\r 即Enter按键

\t 水平的tab键

\v 垂直的tab键

\xNN NN为两位数字，可以转换数字成为字符

%ns 那个n是数字，s代表string ，即多少个字符，

%ni 那个n是数字，i代表integer ，即多少个整体数字，

%N.nf 那个n与N都是数字，f代表floating，如果有10位数，但小数点有2位，则%10.2f

#awk：

以行为处理单位，以字段为最小的处理单位。

awk的处理流程

1.读入第一行，并将第一行的数据填入$0,$1,$2等变量中

2.一如条件类型的限制，判断是否需要进行后面的操作；

3.做完所有的动作与条件类型；

4.若还有后续的“行”的数据，则重复上边1~3的步骤，直到所有的数据都读完为止。

变量名称

NF：每一行（$0）用于的字段总数

NR：目前awk所处理的是“第几行”数据

FS：目前的分隔字符，默认是空格键

注意：awk后续的所有动作都是以单引号''扩住的

awk'{pattern + action}' {filename}

pattern表示awk在数据中查找的内容，支持正则表达式

action 是在找到匹配内容的时候执行的一系列命令

{}不需要在命令中始终出现，他们需要在特定模式对一系列指令进行分组

awk的运算逻辑符

>

<

>=

<=

==

!=

#dill cmp

#dill ：以行为单位来进行比较，

#cmp ：以字符为单位来进行比较