网络爬虫系列笔记（1）——Re库、正则表达式

Unit1 正则表达式 Re

正则表达式：regular expression     regex     RE
简洁的表达一组字符串的表达式，（查找，替换，匹配）。
表达“特征”（病毒，入侵）

使用：
编译：将符合正则表达式的字符串'P(Y/YT/YTH)?N' 转换为正则表达式的特征。特征：p = re.compile('P(Y/YT/YTH)?N')
语法：
     字符+操作符

.	[ ]	[^ ]	*	+	?	|
任意单个字符	字符集，某一个字符	非字符集，非某一个字符	前一字符，0或N次重复	前一字符，1或N次重复	前一字符，重复 0或1次	左右任意一个

{ m }	{ m , n }	^	$	( )	\d	\w
重复前一个字符m次	前一m到n次（含n）	开头	结尾	分组，内部只能有 | 操作符	数字{ 0-9 }	单词字符{A-Za-z0-9...}

举例：
经典表达
^[A-Za-z]+$           由26个字母组成的字符串
^[A-Za-z0-9]+$     由26个字母和数字组成的字符串
^-?\d+$                 整数
[1-9]\d{5}               中国境内邮政编码六位
[\u4e00-\u9fa5]     匹配中文字符（UTF-8编码）

Unit 2     Re库
Re库介绍     import re
re库采用raw string (不包含转义符的字符串)类型表示正则表达式，表示为：r'text'
如：r'[1-9]\d{5}'
一、主要函数
1、re.search( pattern, string, flags=0)
     匹配正则表达式的第一个位置，返回match对象。
pattern：正则表达式字符串
string：待匹配字符串
flags：控制标记

re.I
c54e
 re.IGNORECASE    忽略正则表达式的大小写
re.M  re.MULTILINE    使 ^ 操作符可以匹配每行的开始
re.S  re.DOTALL    使 . 可以匹配所有字符，包括换行符（默认不包括）

import re
match = re.search(r'[1-9]\d{5}', 'BIT 100086')
if match:
    print(match.group(0))
#匹配结果10086

2、re.match( pattren, string, flags=0)
     从一个字符串的起始位置匹配，返回一个Match。
pattern：正则表达式字符串
string：待匹配字符串
flags：控制标记

re.I  re.IGNORECASE    忽略正则表达式的大小写
re.M  re.MULTILINE    使 ^ 操作符可以匹配每行的开始
re.S  re.DOTALL    使 . 可以匹配所有字符，包括换行符（默认不包括）

import re
match = re.search(r'[1-9]\d{5}', 'BUAA 100086')
if match:
    print(match.group(0))
#匹配结果无AttributeError: 'NoneType' object has no attribute 'group'

match = re.search(r'[1-9]\d{5}', '100086 BUAA')
if match:
    print(match.group(0))
#匹配结果10086

3、re.findall( pattern, string, flags=0)
     搜索字符串，以列表类型返回全部能匹配的子串。
pattern：正则表达式字符串
string：待匹配字符串
flags：控制标记

re.I  re.IGNORECASE    忽略正则表达式的大小写
re.M  re.MULTILINE    使 ^ 操作符可以匹配每行的开始
re.S  re.DOTALL    使 . 可以匹配所有字符，包括换行符（默认不包括）

>>> ls = re.findall(r'[0-9]\d{5}', 'BUAA 100086 BIT 100081')
>>> ls
['100086', '100081']

4、re.split( pattern, string, maxsplit=0, flags=0)
     将字符串按照正则表达式匹配结果进行分割，返回列表类型 。
pattern：正则表达式字符串
string：待匹配字符串
maxsplit：最大分割数，剩余部分作为最后一个元素输出
flags：控制标记

re.I  re.IGNORECASE    忽略正则表达式的大小写
re.M  re.MULTILINE    使 ^ 操作符可以匹配每行的开始
re.S  re.DOTALL    使 . 可以匹配所有字符，包括换行符（默认不包括）

>>> re.split(r'[0-9]\d{5}', 'BUAA 100086 BIT 100081')
['BUAA ', ' BIT ', '']

>>> re.split(r'[0-9]\d{5}', 'BUAA 100086 BIT 100081', maxsplit = 1)
['BUAA ', ' BIT 100081']

5、re.finditer( pattern, string, flags=0)
     搜索字符串，返回一个匹配结果迭代类型，每个迭代类型是match对象。
pattern：正则表达式字符串
string：待匹配字符串
flags：控制标记

re.I  re.IGNORECASE    忽略正则表达式的大小写
re.M  re.MULTILINE    使 ^ 操作符可以匹配每行的开始
re.S  re.DOTALL    使 . 可以匹配所有字符，包括换行符（默认不包括）

import re
for m in re.finditer(r'[0-9]\d{5}', 'BUAA 100086 BIT 100081'):
    if m:
        print(m.group(0))
###100086
###100081

6、re.sub( pattern, repl, string, count=0, flags=0)
     将字符串中正则表达式的子串替换，返回替换后的字符串 。
pattern：正则表达式字符串
repl：用于替换的字符串
string：待匹配字符串
count：匹配的最大替换次数
flags：控制标记

re.I  re.IGNORECASE    忽略正则表达式的大小写
re.M  re.MULTILINE    使 ^ 操作符可以匹配每行的开始
re.S  re.DOTALL    使 . 可以匹配所有字符，包括换行符（默认不包括）

>>> re.sub(r'[0-9]\d{5}',':zipcode', 'BUAA 100086  BIT 100081')
'BUAA :zipcode  BIT :zipcode'

用法总结：

函数式用法：一次操作

rst = re.search(r'[1-9]\d{5}', 'BUAA 100086')

面向对象用法：编译后多次操作

pat = re.compile(r'[1-9]\d{5}') #pattern对象
rst = pat.search('BUAA 100086')

7+、re.compile( pattern, flags=0)
     将正则表达式字符串形式（不是正则表达式） 编译成 正则表达式对象，Pattern对象
pattern：正则表达式字符串
flags：控制标记
Pattern对象的方法：

regex = re.compile(r'[1-9]\d{5}')
此时，可以使用 regex 的六个方法，与前 re 的方法对应。

二、Re库的Match对象

Match对象：<class '_sre.SRE_Match'>
Match对象的属性：
.string    带匹配的文本
.re          匹配时使用的pattern对象（正则表达式）
.pos       正则表达式搜索文件的开始位置
.endpos  ……结束位置

Match对象的方法：
.group(0)    获得匹配后的字符串
.start()        匹配字符串在原始字符串的开始位置
.end()         ……结束位置
.span()       返回（.start(), .ens()）

三、Re库的贪婪匹配和最小匹配

实例：
贪婪匹配（最长匹配，默认）

match = re.search(r.'PY.*N', 'PYANBNCNDN') #有四种匹配方式，re库默认采用贪婪匹配方法。
match.group(0)

最小匹配，扩展 操作符

*？	前一个字符0次或无限次扩展，最小匹配
+？	前一个字符1次或无限次扩展，最小匹配
？？	前一个字符0次或1次扩展，最小匹配
{m,n}?	扩展前一个字符m至n次（含n），最小匹配