crawler: 常用的一些工具
2015-11-24 18:03
239 查看
phantomjs, Headless的WebKit Driver,意味着可以无需GUI,完全模拟Chrome/Safari的操作。 casperjs(基于phantomjs的好用封装),zombie(相比phantomjs的优势是可以和node集成)等。
zombiejs似乎对富JavaScript网站支持得有问题,所以后来我还是只能用casperjs来进行测试。Headless的方案因为不需要渲染GUI,执行速度约为Selenium方案的三倍。
另外由于这是纯JavaScript的方案,于是我们可以直接在例如Chrome的Console模式下写代码控制浏览器,不存在如Selenium那样还需要语义转换,非常简洁直观。例如利用W3C Selectors API Level 1所提供的querySelector来快速选取元素,对表单进行submit,对按钮进行click,甚至可以执行自定义JavaScript脚本以便按一定规律对页面进行操控。
但是casperjs或者说phantomjs的弱点是不支持除了文件读写和浏览器操作以外的一切*nix IPC惯用伎俩,socket神马的统统不支持,1.4版本以后才加入了一个webserver用于和外界通信,但是用httpserver来和外界通信?我有点抵触就是了。
相关文章推荐
- 常用的一些工具总结
- 树莓派下载地址及一些常用工具
- GitHub上整理的一些常用工具
- 技术_开发工具_一些常用的快捷键
- 封装 RecyclerView, 打造为一个非常实用的开发工具 , 添加一些开发中常用的功能 , 例如下拉刷新, 分页, 自动加载 , 加载错误等等
- Linux 的一些常用工具列表
- java Web项目中常用的一些工具整理
- 一些常用的几何相关在线计算工具
- 【sublime代码编辑工具】 sublime 代码编辑软件的一些常用功能和快捷键
- iOS 常用一些小工具
- 一些工具(online和client的)、常用网址、以及经验总结等罗列出来和大家分享下
- Android 下 一些常用工具命令
- 程序员常用的一些工具
- flash 一些常用类库工具收集
- MongoDB初探系列之二:认识MongoDB提供的一些常用工具
- 常用的一些工具总结
- java web开发者常用的一些软件和工具
- 关于Postgres的一些常用GUI管理工具,例如PGADMIN
- Java常用的一些工具方法