如何使用thinkphp5开发一个采集工具
2017-09-11 16:24
489 查看
最近做了一个小站http://www.doc5.cn ,需要用到一个采集工具,看了看网上有不少介绍蜘蛛程序试用了一下都不太满意,就想自己开发一个。
工欲善其事必先利其器,既然要开发采集程序就要先把材料准备好,composer真是个好东西,让你可以充分利用已有资源不需要事事自己动手。
tp5提供了一个队列模块think-queue,虽然有些瑕疵不过好在和tp融合的比较好,直接拿过来使用:
composer require topthink/think-queue这个如何使用的可以在github上搜索到,有一个详细的介绍这里不详细介绍了,
队列准备好了我们需要一个http工具用来抓取内容,以前一直用snoopy,可是使用过程中发现不少问题,后来找到一个轻量级的http工具功能还很强大,直接拿来使用
composer require yurunsoft/yurun-http
具体用法同上在github中搜索
队列有了,http工具有了,剩下的就是html的解析工具了,网上提到的有phpquery和querypath两种php仿jquery的dom操作工具,一开始我用了phpquery因为网上推荐较多而且名字起得也不错,但是用了一段时间发现这个项目已经没人维护了,而且代码有不少bug,后来就改用querypath果然问题少多了。
composer require querypath/QueryPath
’再次感叹composer真的好啊。
当然querypath不是万能的很多时候我们需要的数据是在js代码里需要分析js才能获取到这时候还是要用到 正则表达式。
有了上面工具我们就万事俱备了,具体如何写一个采集系统呢,我们下次接着介绍.
工欲善其事必先利其器,既然要开发采集程序就要先把材料准备好,composer真是个好东西,让你可以充分利用已有资源不需要事事自己动手。
tp5提供了一个队列模块think-queue,虽然有些瑕疵不过好在和tp融合的比较好,直接拿过来使用:
composer require topthink/think-queue这个如何使用的可以在github上搜索到,有一个详细的介绍这里不详细介绍了,
队列准备好了我们需要一个http工具用来抓取内容,以前一直用snoopy,可是使用过程中发现不少问题,后来找到一个轻量级的http工具功能还很强大,直接拿来使用
composer require yurunsoft/yurun-http
具体用法同上在github中搜索
队列有了,http工具有了,剩下的就是html的解析工具了,网上提到的有phpquery和querypath两种php仿jquery的dom操作工具,一开始我用了phpquery因为网上推荐较多而且名字起得也不错,但是用了一段时间发现这个项目已经没人维护了,而且代码有不少bug,后来就改用querypath果然问题少多了。
composer require querypath/QueryPath
’再次感叹composer真的好啊。
当然querypath不是万能的很多时候我们需要的数据是在js代码里需要分析js才能获取到这时候还是要用到 正则表达式。
有了上面工具我们就万事俱备了,具体如何写一个采集系统呢,我们下次接着介绍.
相关文章推荐
- 如何使用报表制作工具软件进行二次开发
- 如何在Sql开发工具中在sql中使用变量
- IE: 如何使用 F12 开发人员工具调试网页
- 如何巧妙的使用 免费的 火车头采集工具
- (译)如何使用cocos2d开发一个简单的iphone游戏:旋转炮塔。(第二部分)
- Q:我欲使用WinDriver开发一个PCI卡的驱动程序来传输图像,但是当我利用WinDriver进行Virtex5 FPGA进行读取和写入动作时,计算机会当机,请问如何解决?
- 如何确保安全使用LAMP开源开发工具
- 一个截屏工具制作的全过程记录——如何使用“拿来主义”
- 如何使用Add-on SDK开发一个自己的火狐扩展
- 如何使用gcore工具获取一个core文件而不重启应用?
- 黄聪:如何使用Add-on SDK开发一个自己的火狐扩展
- 3 .如何使用cocos2d开发一个简单的iphone游戏:旋转炮塔(第二部分)
- 如何使用免费工具构建有效的小型APP开发团队
- (译)如何使用cocos2d开发一个简单的iphone游戏:旋转炮塔。(第二部分)
- 如何使用gcore工具获取一个core文件而不重启应用?
- 如何在WPF中使用MVVM开发架构开发一个餐馆点餐系统(CrazyElephant)
- (译)如何使用cocos2d开发一个简单的iphone游戏:旋转炮塔。(第二部分)
- 淘宝开发的一个采集工具 tsar
- 如何检测Web网站使用的是什么JS框架--一个很好用的工具
- WebMatrix进阶教程(1):如何安装和使用微软全新开发工具WebMatrix