<Python爬虫>爬取豆瓣图书/豆瓣电影系列

DouBan Crawler Series

代码托管在Github -> DouBanCrawls

完成豆瓣读书/电影相关的爬取，豆瓣电影爬虫(DouBanMovie)使用了简单的多线程极大地提高了爬虫效率，可与原始版本的读书爬虫(DouBanReading)相比较，更多信息待加入补充。

豆瓣图书爬虫 [Python 3.6.1]

爬取结果在

Result_Book

文件夹，可直接查看

实现功能：

按标签名称进行相关图书信息的抓取，排序后存入本地excel，可自行进行进一步筛选，按

Tag

存取在不同的

Sheet

使用

User Agent

伪装成不同的浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封

豆瓣页面截图：



运行时截图：



Excel结果截图：

豆瓣电影爬虫

爬取结果在

Result_Movie

文件夹，可直接查看

实现功能：

增加了简单的多线程，极大地提高了爬虫效率。

按标签名称进行相关电影信息的抓取，排序后存入本地excel，可自行进行进一步筛选，按

Tag

存取在不同的

Sheet

使用

User Agent

伪装成不同的浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封

豆瓣页面截图：



运行时截图：



Excel结果截图：



欢迎 Star / PR.