常见python爬虫框架
2017-07-21 16:26
190 查看
一、python爬虫框架
一些爬虫项目的半成品
二、常见python爬虫框架
(1)Scrapy:很强大的爬虫框架,可以满足简单的页面爬取(比如可以明确获知url pattern的情况)。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面,如weibo的页面信息,这个框架就满足不了需求了。
(2)Crawley: 高速爬取对应网站的内容,支持关系和非关系数据库,数据可以导出为JSON、XML等
(3)Portia:可视化爬取网页内容
(4)newspaper:提取新闻、文章以及内容分析
(5)python-goose:java写的文章提取工具
(6)Beautiful Soup:名气大,整合了一些常用爬虫需求。缺点:不能加载JS。
(7)mechanize:优点:可以加载JS。缺点:文档严重缺失。不过通过官方的example以及人肉尝试的方法,还是勉强能用的。
(8)selenium:这是一个调用浏览器的driver,通过这个库你可以直接调用浏览器完成某些操作,比如输入验证码。
(9)cola:一个分布式爬虫框架。项目整体设计有点糟,模块间耦合度较高。
一些爬虫项目的半成品
二、常见python爬虫框架
(1)Scrapy:很强大的爬虫框架,可以满足简单的页面爬取(比如可以明确获知url pattern的情况)。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面,如weibo的页面信息,这个框架就满足不了需求了。
(2)Crawley: 高速爬取对应网站的内容,支持关系和非关系数据库,数据可以导出为JSON、XML等
(3)Portia:可视化爬取网页内容
(4)newspaper:提取新闻、文章以及内容分析
(5)python-goose:java写的文章提取工具
(6)Beautiful Soup:名气大,整合了一些常用爬虫需求。缺点:不能加载JS。
(7)mechanize:优点:可以加载JS。缺点:文档严重缺失。不过通过官方的example以及人肉尝试的方法,还是勉强能用的。
(8)selenium:这是一个调用浏览器的driver,通过这个库你可以直接调用浏览器完成某些操作,比如输入验证码。
(9)cola:一个分布式爬虫框架。项目整体设计有点糟,模块间耦合度较高。
相关文章推荐
- Python3环境安装Scrapy爬虫框架过程及常见错误
- Python3环境安装Scrapy爬虫框架过程及常见错误
- Python3环境安装Scrapy爬虫框架过程及常见错误
- Python3环境安装Scrapy爬虫框架过程及常见错误
- Python爬虫框架Scrapy实战之批量抓取招聘信息
- 爬虫Scrapy框架的安装和使用(Python)
- Python爬虫教程——进阶一之爬虫框架Scrapy安装配置
- Python爬虫框架Scrapy实战之定向批量获取职位招聘信息
- 教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神
- Python爬虫框架scrapy实现的文件下载功能示例
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- 【转载】教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神
- Python爬虫框架Scrapy实例
- 【Python】Python34环境下安装爬虫框架scrapy实战篇!
- python 爬虫scrapy框架 自建IP代理池
- Python爬虫框架Scrapy 学习笔记 9 ----selenium
- 使用Python编写爬虫的基本模块及框架使用指南
- Python爬虫从入门到放弃(十三)之 Scrapy框架的命令行详解
- 深入剖析Python的爬虫框架Scrapy的结构与运作流程
- python-网络爬虫--简单框架