python爬虫学习之Soup模块
2017-10-07 14:31
381 查看
前言
就像我之前提到那样,使用正则来匹配获取是属麻烦,并且规则太多,下面结束一下python下面的一个模块Beautiful Soup来从网页抓取数据。官网:
文档:http://beautifulsoup.readthedocs.io/zh_CN/latest/#id17
介绍
Beautiful Soup提供一些简单的、python式的用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。
Beautiful Soup已成为和l、html6lib一样出色的解释器,为用户灵活地提供不同的解析策略或强劲的速度。
和jsoup一样,一款比较好的python版HTML解析器,当然不仅仅是解析器,也能发起http请求。
使用
安装
#ubuntu(笔者没有Windows) $ apt-get install Python-bs4 $ easy_install beautifulsoup $ pip install beautifulsoup4
pip install lxml #解析xml文档 pip install html5lib# 解析HTML5格式的文档
快速使用
soup = BeautifulSoup('<html></html>'),'html5lib')
四大对象
Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:Tag 通俗点讲就是 HTML 中的一个个标签
NavigableString 获取标签的字符串,再也不用正则去除标签符号了
BeautifulSoup 调用核心对象
Comment 与NavigableString一样获取标签字符串,不同点:不包括注释符号
实战
soup = BeautifulSoup(open('index.html'),'html5lib') print soup.prettify()#格式化html print '-----------------分界线---------------------' print soup.a# 返回的是第一个符合要求的标签 print soup.a['id']#soup.a.get('id')等价 #官方文档:http://beautifulsoup.readthedocs.io/zh_CN/latest/ print soup.title.string#获取html字符串 #place = Tool() #print place.replace(str(soup.a)) #---------------------------- print soup.head.contents for child in soup.body.children: print child for string in soup.a.strings: print(repr(string))
其中:html
<html> <head> <title>测试python soup<!--ddfd--></title> </head> <body> <a id="1">wo shi body!</a> <a id="2">wo is body!</a> </body> </html>
由于后面还有很多,现在不一一说了,看文档:http://beautifulsoup.readthedocs.io/zh_CN/latest/
后记
相比之下,我觉得使用soup来进行解析获取html内容比正则来的容易,简单。为一个web开发人员,我还是觉得看什么技术博客不如看官方文档。
Beautiful Soup的用法其实很像javaScript的原生dom操作(想必应该还有类似于jQuery之类的吧,我大笑。。。。。)
2017年 10月 07日 星期六 14:34:16 CST
相关文章推荐
- Python 爬虫学习笔记二: xpath 模块
- Python爬虫学习纪要(二):BeautifulSoup相关知识点2
- python爬虫学习(一)通过urllib2模块获取html,设置用户代理
- Python爬虫学习纪要(十二):BeautifulSoup相关知识点4
- python爬虫学习二: urllib2模块的学习
- 开始学习python爬虫,xml.dom模块解析xml
- python 网络爬虫学习笔记之beautifulsoup
- 萌新的Python学习日记 - 爬虫无影 - 使用BeautifulSoup + css selector 抓取自己想要网页内容
- 萌新的Python学习日记 - 爬虫无影 - 使用BeautifulSoup + css selector 抓取动态网页内容:Knewone
- 萌新的Python学习日记 - 爬虫无影 - 使用BeautifulSoup + urlretrieve 抓取并保存图片:weheartit
- Python 爬虫学习笔记一: requests 模块
- 使用requests+beautifulsoup模块实现python网络爬虫功能
- Python爬虫学习笔记--MySQLdb模块
- 【Python爬虫学习笔记(2)】正则表达式(re模块)相关知识点总结
- Python爬虫学习(4): python中re模块中的向后引用以及零宽断言
- 学习Python爬虫(二):urllib库之parse模块、request模块
- python 日志模块logging学习与使用(日志分割)
- python爬虫学习小程序
- Python学习之asyncore模块用法实例教程
- python爬虫-urllib库学习