您的位置:首页 > 运维架构 > Linux

正则表达式grep、egrep--already

2016-06-16 16:48 423 查看
第一式 grep是什么 #man grepgrep(global search regular expression(RE)是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。UNIX的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展,支持更多的re元字符,fgrep就是fixed grep或fast grep,它们把所有的字母都看做单词,也就是说,正则表达式中的元字符表示回其自身的字面意义,不再特殊。linux使用GNU版本的grep。它功能更强,可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。格式:grep [OPTIONS] PATTERN [FILE...]grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...]#grep 'root' /etc/passwd#alizs grep='grep --color'第一招:常用选项[OPTIONS]-v: 反向,显示不能被模式所匹配到的行;
-o: 仅显示被模式匹配到的字串,而非整行;
-i: 不区分字符大小写, ignore-case
-E: 支持扩展的正则表达式(加-E可以使用grep启用egrep的功能 grep -E)-A #:之后的几行字符after-B:之前的几行字符before-C #:上下两行-n: 显示匹配行及行号,在显示出内容的每行前面会显示行数第二招:模式(PATTERN)文本字符和正则表达式(Regular Expression,REGEXP)的元字符组合而成的匹配条件元字符:不表示字符本身的意义,用于额外功能性的描述字符匹配:.: 任意单个字符
[ ]: 指定范围内的任意单个字符
[[:digit:]] 匹配任何一个数字([0-9]
[[:alnum:]] 匹配任何一个字母或数字([A-Za-z0-9])[[:alpha:]] 匹配任何一个字母([A-Za-z])[[:lower:]] 匹配任何一个小写字母([a-z])[[:upper:]] 匹配任何一个大写字母([A-Z])[[:space:]] 任何一个空白字符:制表符、空格[[:punct:]] 任何一个标点符号(不包括:[:alnum:]、[:cntrl:]、[:space:]字符集)[^]:指定范围外的任意单个字符
位置锚定:用于指定字符出现的位置^: 锚定行首$: 锚定行尾
^$: 空白行
\<char: 锚定词首,也可以写成\bchar(注:\b是元字符),其后面的任意字符必须作为单词首部出现
char\>: 锚定词尾,也可以写成char\b(注:\b也可以用于锚定词尾),其后面的任意字符必须作为单词尾部出现
次数匹配:用来指定匹配其前面的字符的次数*: 任意次(0次或多次)--匹配其前面的字符任意次
.*: 匹配任意长度的任意字符
ab*xy:则表示只能匹配*号之前b任意次b(0或多次)\?:匹配其前面的字符一次或零次(表示此字符可有可无)#`a\?b` 包含b;ab\{m\}: 匹配m次\{m,n\}:最少匹配m次,最多匹配n次\{m,\}: 至少m次;\{0,n\}:至多n次;分组:\(\)
(es)被作为一个组看待,它是一个组,它的名称是1,然后 .*表示之后的任意个字符,[\1]指代的是前面用括号括起来的es。那么 egrep 里的 w(es)t.*\1 就是说 west后面任意字符,再然后再出现es的,这种行被匹配到引用:\1: 后向引用,引用前面的第一个左括号以及与之对应的右括号中的模式所匹配到的内容。(后向引用可以有多次,方法\#(#:数字))第二式:egrep(grep -E)为 grep 的扩充版本, 改良了许多传统 grep 不能或不便的操作. 比方说:- grep 之下不支持 ? 与 + 这两种 modifier, 但 egrep 则可.注:?: 匹配其前面的字符0或1次;+: 匹配其前面的字符至少1次|:表示或关系,比如 'gd|good|dog' 表示有gd,good或dog的串():将部分内容合成一个单元组。比如要搜索 glad 或 good 可以这样 'g(la|oo)d',()的好处是可以对小组使用 + ? * 等。比如要搜索A和C开头结尾,中间有至少一个(xyz) 的串,可以这样 : 'A(xyz)+C'- grep 不支持 a|b 或 (abc|xyz) 这类"或一"比对, 但 egrep 则可.
- grep 在处理 {n,m} 时, 需用 \{ 与 \} 处理, 但 egrep 则不需.诸如此类的... 我个人会建议能用 egrep 就不用 grep 啦..第三式:fgrep不作 RE 处理, 表达式仅作一般字符串处理, 所有 meta 均失去功能.本文主要讲述grep和egrep的使用,已经在这两个命令中用到的正则表达式的一些简单的应用和事例一、grep的使用1.grep的解释grep为global search regular expression(RE) and print out the line的缩写,即根据用户指定的文本搜索模式对目标文件进行搜索并显示能够被模式匹配到的行的一种文本搜索工具。2.grep的使用格式gerp [options] 'PATTERN'file,....其中PATTERN项需要使用''或者"",如果需要对模式进行转换,则需要使用"",如果不需要进行转换,则使用''或""都可以。模式还可以使用正则表达式来表示。3.grep的常用选项--color:用来指定被模式匹配到的字符的显示颜色,参数选项有never,always和auto-v:反向匹配,即不能被模式所匹配到的行,也可以使用--invert-match长选项-o:只显示被模式匹配到字符串,而非显示整行(grep默认显示被匹配到的整行)-i:不区分大小写,也可以使用--ignore-case长选项-E:支持扩展的正则表达式,相当于egrep-r: 连带文件夹以下目录也查找-A:与数字一起使用,显示被模式匹配到的行并且显示被匹配到的行的下面多少行-B: 与数字一起使用,显示被模式匹配到的行并且显示被匹配到的行的上面多少行-C: 与数字一起使用,显示被模式匹配到的行并且显示被匹配到的行的上查找下各显示多少行二、正则表达式的使用1.正则表达式的解释正则表达式是一类字符所书写的模式,是由一些ASCII码类字符和一些元字符组成。正则表达式工作在贪婪模式下,尽可能多的去匹配字符。元字符不表示字符本身的意义,而是用于额外功能性的描述2.正则表达式的分类正则表达式从功能上可以分为基本正则表达式和扩展正则表达式3.基本正则表达式中元字符的使用1)字符匹配.:表示匹配任意一个字符案例:要求显示/etc/passwd中以s和h之间出现任意字符的
[]:匹配指定范围内的单个字符案例:要求显示/etc/fstab中出现c和C的行
[^]:匹配指定范围外的单个字符,也可使使用选项v来完成案例,显示/etc/passwd中没有出现#的行
指定范围的字符还可以使用一些别的元素组成,如[[:space:]]:表示空白字符[[:lower:]]:表示所有小写字母[[:upper:]]:表示所有大写字母[[:aplha:]]:表示所有字母,也可使用[a-z]表示[[:digit:]]:表示所有的数字,也可以使用[0-9]表示[[:almun:]]:表示所有的数字和字母[[:punct:]]:表示所有特殊字符2)次数匹配:用来指定匹配其前面字符出现的次数,只能匹配模式紧靠着的一个字符*:出现任意次.*: 出现任意次的任意字符\?: 出现0次或者1次\{m\}: 表示出现m次\{m,n\}: 表示至少出现m次,至多出现n次\{m,\}: 表示最少出现m次\{0,n\}:表示至多出现n次,其中0不能省略案例:显示/etc/passwd中r后面出现最少一次,最多2次的
3)位置锚定符:用于来指定字符出现的位置^:用于锚定行首,用法为^Char$:用于锚定行尾,用法为Char$^$:用来表示空白行案例:统计/etc/rc.d/rc.sysinit中出现的空白行
4)单词的锚定:所有非自然的单词\<:用于锚定单词的词首,也可以使用\b表示,用法为\<Char或\bChar\>:用于锚定单词的行尾,也可以使用\b表示,用法为Char\>或Char\b案例:显示/etc/passwd中root的行
5) 分组:对模式进行分组\(\)6) 引用:对分组的字符串基于位置引用\1: 后向引用,表示引用前面的第一个左括号与之对应的右括号中的模式所匹配到的内容\2: 表示引用前面的第二个左括号与之对应的右括号中的模式所匹配到的内容...例:此处不适合于英文状态,只是做实例分析He like his loverShe love her likerHe loves his loverShe like his liker要求:前面显示like的后面显示liker,前面显示love的后面显示lover
4.扩展正则表达式的使用1)字符匹配.:表示匹配任意一个字符[]:匹配指定范围内的单个字符[^]:匹配指定范围外的单个字符,也可使使用选项v来完成指定范围的字符还可以使用一些别的元素组成,如[[:space:]]:表示空白字符[[:lower:]]:表示所有小写字母[[:upper:]]:表示所有大写字母[[:aplha:]]:表示所有字母,也可使用[a-z]表示[[:digit:]]:表示所有的数字,也可以使用[0-9]表示[[:almun:]]:表示所有的数字和字母[[:punct:]]:表示所有特殊字符2)次数匹配:用来指定匹配其前面字符出现的次数,只能匹配模式紧靠着的一个字符*:出现任意次.*: 出现任意次的任意字符?: 出现0次或者1次+: 至少出现1次{m}: 表示出现m次{m,n}: 表示至少出现m次,至多出现n次{m,}: 表示最少出现m次{0,n}:表示至多出现n次,其中0不能省略3)位置锚定符:用于来指定字符出现的位置^:用于锚定行首,用法为^Char$:用于锚定行尾,用法为Char$^$:用来表示空白行4)单词的锚定:所有非自然的单词\<:用于锚定单词的词首,也可以使用\b表示,用法为\<Char或\bChar\>:用于锚定单词的行尾,也可以使用\b表示,用法为Char\>或Char\b5) 分组:对模式进行分组\(\)6) 引用:对分组的字符串基于位置引用\1: 后向引用,表示引用前面的第一个左括号与之对应的右括号中的模式所匹配到的内容\2: 表示引用前面的第二个左括号与之对应的右括号中的模式所匹配到的内容三、egrep的使用egrep相当于grep -E,使用扩展正则表达式来构建模式,此处不再累赘由于本人水平有限,如出现错误,请大家多多指正练习:1、显示/proc/meminfo文件中以大小写s开头的行;# grep "^[sS]" /proc/meminfo# grep -i "^s" /proc/meminfo2、取出默认shell为非bash的用户;# grep -v "bash$" /etc/passwd | cut -d: -f13、取出默认shell为bash的且其ID号最大的用户;# grep "bash$" /etc/passwd | sort -n -t: -k3 | tail -1 | cut -d: -f14、显示/etc/rc.d/rc.sysinit文件中,以#开头,后面跟至少一个空白字符,而后又有至少一个非空白字符的行;# grep "^#[[:space:]]\{1,\}[^[:space:]]\{1,\}" /etc/rc.d/rc.sysinit5、显示/boot/grub/grub.conf中以至少一个空白字符开头的行;# grep "^[[:space:]]\{1,\}[^[:space:]]\{1,\}" /boot/grub/grub.conf6、找出/etc/passwd文件中一位数或两位数;# grep --color=auto "\<[0-9]\{1,2\}\>" /etc/passwd7、查看当前系统上root用户的所有信息;# grep "^root\>" /etc/passwd8、添加用户bash和testbash、basher,而后找出当前系统上其用户名和默认shell相同的用户;# grep --color=auto "^\([[:alnum:]]\{1,\}\)\>.*\1$" /etc/passwd开篇学习Linux也有一段时间了,对Linux多少也算是有点了解了,越是了解也就越对这个系统有兴趣,从0基础开始,已经学习了两周了吧,说实在的,很多的东西都是逻辑的问题,而学习Linux就是要熟悉命令,命令很多,要记的东西也很多,多得可以你让头皮发麻,不过话又说回来了,既然选择了这门技术,那就义无反顾的去做好做专,好了,总结一下这两周来感觉学起来比较用力的部分。正文之:grep的详细介绍grep和egrep是现在感觉比较难的一部分,主要是符号多,看得眼花了乱。grep(global search regular expression and prind out theline)全称就叫全面搜索正则表达式并打印行出来,简单来说就是文本搜索工具,根据用户指定的文本搜索模式对目标文本进行搜索,显示能够所匹配的行,当然,也可以把grep看也是一个文本过虑器。格式:grep [options]... 'PATTERD模式' file....模式:就是一个最基本的字符串如:grep –A 1 '[r][[:punct:]]*[t]' /etc/passwd ''里的内容就是模式grep的常用选项:-v:反向匹配、显示不能别模式匹配到的行;例:取出/etc/fstab不包含#号的行gerp –v "#" /etc/fstab
-o:仅匹配被模式匹配到的字串,而非整行,就是仅显示匹配到的内容例:只显示/etc/fstab为mapper的字串grep -o "mapper" /etc/fstab
-i:不区分大小写对文本进行匹配搜索-E:支持扩展正则表达式-A #:显示模式匹配到的行以及后面的N行 #代表你要显示多少行例:显示/etc/passwd中shutdown用户后面3行-B #:显示模式匹配到的行以及前面的N行例:显示/etc/passwd中shutdown用户上面2行-C #:显示模式匹配到的行以及上下的N行例:显示/etc/passwd中shutdown用户上下面2行其实,要用好grep的强大搜索功能,那就不得不说说正则表达式了:正则表达式就是一类字符所书写出来的模式(pattern)、正则表达式基本上都是由元字符组成;那什么是元字符呢:元字符不表示字符本身的意义,而是用于额外功能性的描述。基本正则表达式的元字符:学习正则表达式主要是来学习其元字符的用法后慢慢组合这些元字符来表达到正则表达式的使用,grep在默认情况下只支持基本正则表达式。注意:模式当中一但包含元字符一定要用''或""号引起来,单双引号都可以、只不过如果其中出现了变量、并且我们希望做变量替换的话那就要使用""双引号了、否则可以不加区分的使用。那就来说说元字符的通配: .(点号):匹配任意的单个字符的例:grep "r..t" /etc/passwdrt加上两点被匹配到的只有4个字符,点号表示的是单个字符 []:指定范围内的任意的单个字符[0-9] [[:digit:]]:表示匹配0到9的任意单个数字、两种表示方法都可以[a-z] [[:lower:]]:表示匹配小写的a到z的任意单个字母、即a-z[A-Z] [[:upper:]]:表示匹配大写的A到Z的任意单个字母、即A-Z[[:alpha:]]:表示英文大小写字母、即:a-z,A-Z[[:space:]]:表示包含的空白字符、即空格键,tab键[[:alnum:]]:表示包含数字大小写字母、即0-9,A-Z,a-z[[:punct:]]:表示包含标点符号、即:" ' ? ! ; : # $...例:显示/etc/fstab下含有数字的行grep --color [0-9] /etc/fstab例:显示/etc/fstab中包含大写字母的行grep --color "[[:upper:]]" /etc/fstab [^]:表示指定范围外的任意单个字符、就是使用了脱字符取反例:显示/etc/fstab中数字以外的内容grep --color [^[:digit:]] /etc/fstab 字符的次数匹配:用来匹配其前面的字符的次数的*:(星号)匹配其紧挨着星号的字符出现任意次例:x*y就是x可以出现意次、包括0次.*:(点星)匹配任意长度的任意字符\?:表示其前面的字符出现0次或者1次、\是转译字符例:x\?y:可以匹配到的只有xy和y\{m\}:匹配m次 如:x\{4\}y表示y前面的x出现4前就可以被匹配到\{m,n\}:至少m次,至多n次\{m,\}:至少m次\{0,n\}:至多匹配n次、0不可以省略例:找出/etc/fstab文件中一位数或两位数grep --color '\<[0-9]\{1,2\}\>' /etc/fstab\{1,2\}:表示0-9的数字出现的至有1位、至多有2位、 位置锚定符:用于指定字符出现的位置^:用于锚定行首,如(^Char) 匹配到的字符必须出现有行首的$:用于锚定行尾,如(Char$) grep 'bash$' /etc/passwd^$:空白行、查找一个文件中所出现的空白行 ^hello$表示只有hello的行例:显示/etc/fstab中以#号开头的行grep --color "^#" /etc/fstab 单词的锚定:\<char:锚定词首,\<[r]表示一行以r开头的单词都可以匹配、也可以使用\b表示char\>:锚定词尾,一行以r开头的单词都可以匹配、\b\<hello\>:表示精确锚定hello这个单词\<h…o\>:表示以h开头、以o结尾、中间跟了任意三个字符的单词例:显示/etc/passwd中以stu开头的单词grep --color "\<stu" /etc/passwd 只要是以stu开头的单词都会被匹配到 分组元字符:\(\):分组 \是转译字符例:\(ab\)*xyab括起来表示一个组了,表示xy前面的ab组现出任意次,可以被匹配到的abxy,ababxy,ababababxy,abababababababxy,...... 引用: 对分组的字符块进行引用\1:后向引用,引用前面的第一个左括号以及与之对应的右括号中模式所匹配到的内容\2:后向引用,引用前面的第二个左括号以及与之对应的右括号中模式所匹配到的内容.......例:\(a.b\)xy\1 可以匹配到的有(abxyab不可以匹配到)akbxyakb,a3bxya3b,aYbxyaYb例:我们来看这个例子、找出以下love与之对应的lover、like与之对应的likerHe like his lover.She love her liker.He love his lover.She like her liker.正文之:egrep的详细介绍egrep:使用扩展正则表达式来构建模式,相当于grep –E、通常写成egrep、用法基本上跟grep的相同、只是有些不需要\转译 元字符:字符匹配.:匹配任意单个字符[]:指定范围内的任意单个字符 次数匹配:*:匹配其紧挨着星号的字符出现任意次?:表示其前面的字符出现0次或者1次+:匹配其前面的字符至少1次{m}:匹配其前面的字符m次{m,n}:至少m次,至多n次{m,}:至少m次{0,n}:至多n次例:找出/etc/fstab文件中一位数或两位数egrep --color '\<[0-9]{1,2}\>' /etc/fstab {}不需要转译 做位置锚定:^:行首锚定$:行尾锚定\<:词首\>:词尾 分组:():分组|:或者 ab|xy意思为ab或者xy a(b|x)y意思为aby或者axy正文之:fgrep的详细介绍fgrep:fash,它不解析正则表达式、想找什么就跟什么就可以了;例:fgrep "/bin/bash" /etc/passwd例:显示/etc/fstab中含有defaults的行fgrep --color "defaults" /etc/fstabPS:正则表达式用于字符串处理、表单验证等场合,实用高效。以下表达式本人收集于网络,做了简单整理,以备不时之需。没有全部验证,可能会存在部分错误,读者请自己调试鉴别更正。--非原创,转自互联网匹配中文字符的正则表达式: [u4e00-u9fa5]评注:匹配中文还真是个头疼的事,有了这个表达式就好办了匹配双字节字符(包括汉字在内):[^x00-xff]评注:可以用来计算字符串的长度(一个双字节字符长度计2,ASCII字符计1)匹配空白行的正则表达式:ns*r评注:可以用来删除空白行匹配HTML标记的正则表达式:<(S*?)[^>]*>.*?</1>|<.*? />评注:网上流传的版本太糟糕,上面这个也仅仅能匹配部分,对于复杂的嵌套标记依旧无能为力匹配首尾空白字符的正则表达式:^s*|s*$评注:可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等),非常有用的表达式匹配Email地址的正则表达式:w+([-+.]w+)*@w+([-.]w+)*.w+([-.]w+)*评注:表单验证时很实用匹配网址URL的正则表达式:[a-zA-z]+://[^s]*评注:网上流传的版本功能很有限,上面这个基本可以满足需求匹配帐号是否合法(字母开头,允许5-16字节,允许字母数字下划线):^[a-zA-Z][a-zA-Z0-9_]{4,15}$评注:表单验证时很实用 匹配国内电话号码:d{3}-d{8}|d{4}-d{7}评注:匹配形式如 0511-4405222 或 021-87888822匹配腾讯QQ号:[1-9][0-9]{4,}评注:腾讯QQ号从10000开始匹配中国邮政编码:[1-9]d{5}(?!d)评注:中国邮政编码为6位数字匹配身份证:d{15}|d{18}评注:中国的身份证为15位或18位匹配ip地址:d+.d+.d+.d+评注:提取ip地址时有用匹配特定数字:^[1-9]d*$    //匹配正整数^-[1-9]d*$   //匹配负整数^-?[1-9]d*$   //匹配整数^[1-9]d*|0$  //匹配非负整数(正整数 + 0)^-[1-9]d*|0$   //匹配非正整数(负整数 + 0)^[1-9]d*.d*|0.d*[1-9]d*$   //匹配正浮点数^-([1-9]d*.d*|0.d*[1-9]d*)$  //匹配负浮点数^-?([1-9]d*.d*|0.d*[1-9]d*|0?.0+|0)$  //匹配浮点数^[1-9]d*.d*|0.d*[1-9]d*|0?.0+|0$   //匹配非负浮点数(正浮点数 + 0)^(-([1-9]d*.d*|0.d*[1-9]d*))|0?.0+|0$  //匹配非正浮点数(负浮点数 + 0)评注:处理大量数据时有用,具体应用时注意修正匹配特定字符串:^[A-Za-z]+$  //匹配由26个英文字母组成的字符串^[A-Z]+$  //匹配由26个英文字母的大写组成的字符串^[a-z]+$  //匹配由26个英文字母的小写组成的字符串^[A-Za-z0-9]+$  //匹配由数字和26个英文字母组成的字符串^w+$  //匹配由数字、26个英文字母或者下划线组成的字符串评注:上面是最基本也是最常用的一些表达式在使用RegularExpressionValidator验证控件时的验证功能及其验证表达式介绍如下:只能输入数字:“^[0-9]*$”只能输入n位的数字:“^d{n}$”只能输入至少n位数字:“^d{n,}$”只能输入m-n位的数字:“^d{m,n}$”只能输入零和非零开头的数字:“^(0|[1-9][0-9]*)$”只能输入有两位小数的正实数:“^[0-9]+(.[0-9]{2})?$”只能输入有1-3位小数的正实数:“^[0-9]+(.[0-9]{1,3})?$”只能输入非零的正整数:“^+?[1-9][0-9]*$”只能输入非零的负整数:“^-[1-9][0-9]*$”只能输入长度为3的字符:“^.{3}$”只能输入由26个英文字母组成的字符串:“^[A-Za-z]+$”只能输入由26个大写英文字母组成的字符串:“^[A-Z]+$”只能输入由26个小写英文字母组成的字符串:“^[a-z]+$”只能输入由数字和26个英文字母组成的字符串:“^[A-Za-z0-9]+$”只能输入由数字、26个英文字母或者下划线组成的字符串:“^w+$”验证用户密码:“^[a-zA-Z]w{5,17}$”正确格式为:以字母开头,长度在6-18之间,只能包含字符、数字和下划线。验证是否含有^%&’,;=?$”等字符:“[^%&',;=?$x22]+”只能输入汉字:“^[u4e00-u9fa5],{0,}$”验证Email地址:“^w+[-+.]w+)*@w+([-.]w+)*.w+([-.]w+)*$”验证InternetURL:“^http://([w-]+.)+[w-]+(/[w-./?%&=]*)?$”验证电话号码:“^((d{3,4})|d{3,4}-)?d{7,8}$”正确格式为:“XXXX-XXXXXXX”,“XXXX-XXXXXXXX”,“XXX-XXXXXXX”,“XXX-XXXXXXXX”,“XXXXXXX”,“XXXXXXXX”。验证身份证号(15位或18位数字):“^d{15}|d{}18$”验证一年的12个月:“^(0?[1-9]|1[0-2])$”正确格式为:“01”-“09”和“1”“12”验证一个月的31天:“^((0?[1-9])|((1|2)[0-9])|30|31)$”正确格式为:“01”“09”和“1”“31”。验证字符串是否只含数字与英文,字符串长度并在4~16个字符之间
<?php$str = 'a1234';if (preg_match("^[a-zA-Z0-9]{4,16}$", $str)) {
echo "驗證成功";} else {
echo "驗證失敗";}?>
简易的台湾身份证字号验证
<?php$str = 'a1234';if (preg_match("/^w[12]d{8}$/", $str)) {
echo "驗證成功";} else {
echo "驗證失敗";}?>
以下示例是用 Perl 语言写的,与上面的示例功能相同
print $str = "a1234" =~ m:^[a-zA-Z0-9]{4,16}$: ? "COMFIRM" : "FAILED";
print $str = "a1234" =~ m"^w[12]d{8}$" ? "COMFIRM" : "INVAILD";

如何写出高效率的正则表达式

如果纯粹是为了挑战自己的正则水平,用来实现一些特效(例如使用正则表达式计算质数、解线性方程),效率不是问题;如果所写的正则表达式只是为了满足一两次、几十次的运行,优化与否区别也不太大。但是,如果所写的正则表达式会百万次、千万次地运行,效率就是很大的问题了。我这里总结了几条提升正则表达式运行效率的经验(工作中学到的,看书学来的,自己的体会),贴在这里。如果您有其它的经验而这里没有提及,欢迎赐教。为行文方便,先定义两个概念。误匹配:指正则表达式所匹配的内容范围超出了所需要范围,有些文本明明不符合要求,但是被所写的正则式“击中了”。例如,如果使用d{11}来匹配11位的手机号,d{11}不单能匹配正确的手机号,它还会匹配98765432100这样的明显不是手机号的字符串。我们把这样的匹配称之为误匹配。漏匹配:指正则表达式所匹配的内容所规定的范围太狭窄,有些文本确实是所需要的,但是所写的正则没有将这种情况囊括在内。例如,使用d{18}来匹配18位的身份证号码,就会漏掉结尾是字母X的情况。写出一条正则表达式,既可能只出现误匹配(条件写得极宽松,其范围大于目标文本),也可能只出现漏匹配(只描述了目标文本中多种情况种的一种),还可能既有误匹配又有漏匹配。例如,使用w+.com来匹配.com结尾的域名,既会误匹配abc_.com这样的字串(合法的域名中不含下划线,w包含了下划线这种情况),又会漏掉ab-c.com这样的域名(合法域名中可以含中划线,但是w不匹配中划线)。精准的正则表达式意味着既无误匹配且无漏匹配。当然,现实中存在这样的情况:只能看到有限数量的文本,根据这些文本写规则,但是这些规则将会用到海量的文本中。这种情况下,尽可能地(如果不是完全地)消除误匹配以及漏匹配,并提升运行效率,就是我们的目标。本文所提出的经验,主要是针对这种情况。掌握语法细节。正则表达式在各种语言中,其语法大致相同,细节各有千秋。明确所使用语言的正则的语法的细节,是写出正确、高效正则表达式的基础。例如,perl中与w等效的匹配范围是[a-zA-Z0-9_];perl正则式不支持肯定逆序环视中使用可变的重复(variable repetition inside lookbehind,例如(?<=.*)abc),但是.Net语法是支持这一特性的;又如,JavaScript连逆序环视(Lookbehind,如(?<=ab)c)都不支持,而perl和python是支持的。《精通正则表达式》第3章《正则表达式的特性和流派概览》明确地列出了各大派系正则的异同,这篇文章也简要地列出了几种常用语言、工具中正则的比较。对于具体使用者而言,至少应该详细了解正在使用的那种工作语言里正则的语法细节。先粗后精,先加后减。使用正则表达式语法对于目标文本进行描述和界定,可以像画素描一样,先大致勾勒出框架,再逐步在局步实现细节。仍举刚才的手机号的例子,先界定d{11},总不会错;再细化为1[358]d{9},就向前迈了一大步(至于第二位是不是3、5、8,这里无意深究,只举这样一个例子,说明逐步细化的过程)。这样做的目的是先消除漏匹配(刚开始先尽可能多地匹配,做加法),然后再一点一点地消除误匹配(做减法)。这样有先有后,在考虑时才不易出错,从而向“不误不漏”这个目标迈进。留有余地。所能看到的文本sample是有限的,而待匹配检验的文本是海量的,暂时不可见的。对于这样的情况,在写正则表达式时要跳出所能见到的文本的圈子,开拓思路,作出“战略性前瞻”。例如,经常收到这样的垃圾短信:“发*票”、“发#漂”。如果要写规则屏蔽这样烦人的垃圾短信,不但要能写出可以匹配当前文本的正则表达式 发[*#](?:票|漂),还要能够想到 发.(?:票|漂|飘)之类可能出现的“变种”。这在具体的领域或许会有针对性的规则,不多言。这样做的目的是消除漏匹配,延长正则表达式的生命周期。明确。具体说来,就是谨慎用点号这样的元字符,尽可能不用星号和加号这样的任意量词。只要能确定范围的,例如w,就不要用点号;只要能够预测重复次数的,就不要用任意量词。例如,写析取twitter消息的脚本,假设一条消息的xml正文部分结构是<span class=”msg”>…</span>且正文中无尖括号,那么<span class=”msg”>[^<]{1,480}</span>这种写法的思路要好于<span class=”msg”>.*</span>,原因有二:一是使用[^<],它保证了文本的范围不会超出下一个小于号所在的位置;二是明确长度范围,{1,480},其依据是一条twitter消息大致能的字符长度范围。当然,480这个长度是否正确还可推敲,但是这种思路是值得借鉴的。说得狠一点,“滥用点号、星号和加号是不环保、不负责任的做法”。不要让稻草压死骆驼。每使用一个普通括号()而不是非捕获型括号(?:…),就会保留一部分内存等着你再次访问。这样的正则表达式、无限次地运行次数,无异于一根根稻草的堆加,终于能将骆驼压死。养成合理使用(?:…)括号的习惯。宁简勿繁。将一条复杂的正则表达式拆分为两条或多条简单的正则表达式,编程难度会降低,运行效率会提升。例如用来消除行首和行尾空白字符的正则表达式s/^s+|s+$//g;,其运行效率理论上要低于s/^s+//g; s/s+$//g; 。这个例子出自《精通正则表达式》第五章,书中对它的评论是“它几乎总是最快的,而且显然最容易理解”。既快又容易理解,何乐而不为?工作中我们还有其它的理由要将C==(A|B)这样的正则表达式拆为A和B两条表达式分别执行。例如,虽然A和B这两种情况只要有一种能够击中所需要的文本模式就会成功匹配,但是如果只要有一条子表达式(例如A)会产生误匹配,那么不论其它的子表达式(例如B)效率如何之高,范围如何精准,C的总体精准度也会因A而受到影响。巧妙定位。有时候,我们需要匹配的the,是作为单词的the(两边有空格),而不是作为单词一部分的t-h-e的有序排列(例如together中的the)。在适当的时候用上^,$,b等等定位锚点,能有效提升找到成功匹配、淘汰不成功匹配的效率。
表达式全集正则表达式有多种不同的风格。下表是在PCRE中元字符及其在正则表达式上下文中的行为的一个完整列表:字符  描述将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如,“n”匹配字符“n”。“n”匹配一个换行符。序列“\”匹配“”而“(”则匹配“(”。^   匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性,^也匹配“n”或“r”之后的位置。$   匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性,$也匹配“n”或“r”之前的位置。*   匹配前面的子表达式零次或多次。例如,zo*能匹配“z”以及“zoo”。*等价于{0,}。+   匹配前面的子表达式一次或多次。例如,“zo+”能匹配“zo”以及“zoo”,但不能匹配“z”。+等价于{1,}。?   匹配前面的子表达式零次或一次。例如,“do(es)?”可以匹配“do”或“does”中的“do”。?等价于{0,1}。{n} n是一个非负整数。匹配确定的n次。例如,“o{2}”不能匹配“Bob”中的“o”,但是能匹配“food”中的两个o。{n,}    n是一个非负整数。至少匹配n次。例如,“o{2,}”不能匹配“Bob”中的“o”,但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。{n,m}   m和n均为非负整数,其中n<=m。最少匹配n次且最多匹配m次。例如,“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。?   当该字符紧跟在任何一个其他限制符(*,+,?,{n},{n,},{n,m})后面时,匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串,而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如,对于字符串“oooo”,“o+?”将匹配单个“o”,而“o+”将匹配所有“o”。.   匹配除“n”之外的任何单个字符。要匹配包括“n”在内的任何字符,请使用像“[.n]”的模式。(pattern)   匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中则使用$0…$9属性。要匹配圆括号字符,请使用“(”或“)”。(?:pattern) 匹配pattern但不获取匹配结果,也就是说这是一个非获取匹配,不进行存储供以后使用。这在使用或字符“(|)”来组合一个模式的各个部分是很有用。例如“industr(?:y|ies)”就是一个比“industry|industries”更简略的表达式。(?=pattern) 正向预查,在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如,“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”,但不能匹配“Windows3.1”中的“Windows”。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始。(?!pattern) 负向预查,在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”,但不能匹配“Windows2000”中的“Windows”。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始x|y 匹配x或y。例如,“z|food”能匹配“z”或“food”。“(z|f)ood”则匹配“zood”或“food”。[xyz]   字符集合。匹配所包含的任意一个字符。例如,“[abc]”可以匹配“plain”中的“a”。[^xyz]  负值字符集合。匹配未包含的任意字符。例如,“[^abc]”可以匹配“plain”中的“p”。[a-z]   字符范围。匹配指定范围内的任意字符。例如,“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。[^a-z]  负值字符范围。匹配任何不在指定范围内的任意字符。例如,“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。b   匹配一个单词边界,也就是指单词和空格间的位置。例如,“erb”可以匹配“never”中的“er”,但不能匹配“verb”中的“er”。B   匹配非单词边界。“erB”能匹配“verb”中的“er”,但不能匹配“never”中的“er”。cx  匹配由x指明的控制字符。例如,cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则,将c视为一个原义的“c”字符。d   匹配一个数字字符。等价于[0-9]。D   匹配一个非数字字符。等价于[^0-9]。f   匹配一个换页符。等价于x0c和cL。n   匹配一个换行符。等价于x0a和cJ。r   匹配一个回车符。等价于x0d和cM。s   匹配任何空白字符,包括空格、制表符、换页符等等。等价于[fnrtv]。S   匹配任何非空白字符。等价于[^fnrtv]。t   匹配一个制表符。等价于x09和cI。v   匹配一个垂直制表符。等价于x0b和cK。w   匹配包括下划线的任何单词字符。等价于“[A-Za-z0-9_]”。W   匹配任何非单词字符。等价于“[^A-Za-z0-9_]”。xn  匹配n,其中n为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如,“x41”匹配“A”。“x041”则等价于“x04&1”。正则表达式中可以使用ASCII编码。.num 匹配num,其中num是一个正整数。对所获取的匹配的引用。例如,“(.)1”匹配两个连续的相同字符。n   标识一个八进制转义值或一个向后引用。如果n之前至少n个获取的子表达式,则n为向后引用。否则,如果n为八进制数字(0-7),则n为一个八进制转义值。nm  标识一个八进制转义值或一个向后引用。如果nm之前至少有nm个获得子表达式,则nm为向后引用。如果nm之前至少有n个获取,则n为一个后跟文字m的向后引用。如果前面的条件都不满足,若n和m均为八进制数字(0-7),则nm将匹配八进制转义值nm。nml 如果n为八进制数字(0-3),且m和l均为八进制数字(0-7),则匹配八进制转义值nml。un  匹配n,其中n是一个用四个十六进制数字表示的Unicode字符。例如,u00A9匹配版权符号(?)。以下是以PHP的语法所写的示例
                                            
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  linux