Python数据采集之网页解析器

1.Python网页解析器

1.1网页解析器简介

网页解析器是HTML网页中提取出“有价值数据”或“新URL链接”的工具。

网页解析流程如下图所示：

1.2 Python网页解析器

常见的Python网页解析器主要有正则表达式（re）、Python自带的html.parser、第三方库BeautifulSoup和lxml四种。

上述四种网页解析器可以分为以re正则表达式为代表的模糊匹配模式和以BeautifulSoup、html.parser、lxml为代表的结构化解析模式。其中，结构化解析模式以DOM树结构为标准，进行标签结构信息的抽取。

1.3 DOM树

DOM（Document Object Model）树即文档对象模型，其树形标签结构如下图所示：



上面提到的结构化解析，就是指网页解析器将下载的整个HTML文档当成一个Document对象，然后利用其上下结构的标签形式，对这个对象上下级的标签进行遍历和信息提取操作。