使用Python开发的定向数据采集框架
2014-05-20 21:04
323 查看
事实上现在已经有很多非常不错的数据采集工具了,有收费的也有免费的,闻道软件工作室在做第一个与爬虫相关的软件定制开发项目时最先考虑的方案就是使用现成的数据采集工具采集数据,然后再做二次加工。然而事与愿违,我们使用的好几款工具或多或少都有一些不尽人意的地方。要么是配置做得太死没办法扩展数据采集需求,要么是功能做得太强又导致配置相当复杂。为此,我们决定使用python写一个定向数据采集的框架。
使用python的原因有两个,一是因为客户需要的并不是采集工具,而是最终采集来的数据,为此而用其他重量级语言来开发一个定向的数据采集工具成本相对来说有点高,但是python作为一门脚本语言,其开发周期非常短,代码量也很少,很适合这样的场景.第二个原因是python对正则表达式以及http协议的支持很好,无需安装额外的开发库。http的请求API加上正则表达式,这几乎可以满足任何针对Web页面的采集需求。完成客户的软件定制开发任务后我们完善了这个python的简单框架,在此框架的基础上我们可以非常迅速的完成一个定制的Web数据采集需求,并可以很方便的作其它扩展。
对于一个熟悉python的程序员来说,使用python去写一个采集的工具所花的时间可能要比学会使用一个工具更快,这就是python。python学习简单,笔者只花了大概半小时的时间去学习就可以使用python开发自己的工具了,python功能强大,可以以很少的代价得到强大的功能,就像本文描述的定向数据采集框架。所以我认为即使是非程序员也值得尝试去学习这门语言,特别是草根站长、网店店主之类的非技术类互联网从业人士
使用python的原因有两个,一是因为客户需要的并不是采集工具,而是最终采集来的数据,为此而用其他重量级语言来开发一个定向的数据采集工具成本相对来说有点高,但是python作为一门脚本语言,其开发周期非常短,代码量也很少,很适合这样的场景.第二个原因是python对正则表达式以及http协议的支持很好,无需安装额外的开发库。http的请求API加上正则表达式,这几乎可以满足任何针对Web页面的采集需求。完成客户的软件定制开发任务后我们完善了这个python的简单框架,在此框架的基础上我们可以非常迅速的完成一个定制的Web数据采集需求,并可以很方便的作其它扩展。
对于一个熟悉python的程序员来说,使用python去写一个采集的工具所花的时间可能要比学会使用一个工具更快,这就是python。python学习简单,笔者只花了大概半小时的时间去学习就可以使用python开发自己的工具了,python功能强大,可以以很少的代价得到强大的功能,就像本文描述的定向数据采集框架。所以我认为即使是非程序员也值得尝试去学习这门语言,特别是草根站长、网店店主之类的非技术类互联网从业人士
相关文章推荐
- PDF.NET数据开发框架 之SQL-MAP使用存储过程
- Python Web 框架,第 1 部分: 使用 Django 和 Python 开发 Web 站点
- Python使用scrapy采集数据过程中放回下载过大页面的方法
- 在开发框架中使用事务进行数据的统一处理
- 如何使用Maven和eclipse构建大数据开发框架项目
- 使用PDF.NET数据开发框架的实体操作语言OQL构造复杂查询条件
- Python Web 框架,第 1 部分: 使用 Django 和 Python 开发 Web 站点(转)
- Python使用scrapy采集数据时为每个请求随机分配user-agent的方法
- Python Web 框架,第 1 部分: 使用 Django 和 Python 开发 Web 站点
- Android开发,使用Volley框架进行简单数据交互
- Socket开发框架之数据采集客户端
- 【Android 应用开发】分析各种Android设备屏幕分辨率与适配 - 使用大量真实安卓设备采集真实数据统计
- 数据采集技术之在Python中Libxml模块安装与使用XPath
- Python基于scrapy采集数据时使用代理服务器的方法
- python下的web开发框架-Django,django模板的使用
- 【转载】Python Web 框架: 使用 TurboGears 和 Python 开发 Web 站点
- karloop介绍--hello world大家好,今天为大家介绍一款非常轻量级的的web开发框架,karloop框架。使用python开发 首先我们下载karloop源码进行安装。 源码地址 下载成
- 基于MVC4+EasyUI的Web开发框架经验总结(3)- 使用Json实体类构建菜单数据
- 【转载】Python Web 框架: 使用 TurboGears 和 Python 开发 Web 站点
- 如何使用Maven和eclipse构建大数据开发框架项目