网页上通过ajax异步加载的数据有什么办法抓取到吗?
2014-09-04 11:31
549 查看
其实有很多方案,selenium,phantomjs,casperjs,qtwebkit等等等等
我们采用的是casperjs。把每个ajax请求完成后保存网页,放入队列,这样的话后面的分析程序就只要分析html就好了。
casperjs这货和nodejs一起使用的时候时不时会有点小问题(我遇到的问题都不大,很好解决),如果不想麻烦,npm安装spookyjs,据说就可以把casperjs作为node的模块来使用了。
当然,请求不复杂,无需验证的话,直接观察请求就可以了。
我们采用的是casperjs。把每个ajax请求完成后保存网页,放入队列,这样的话后面的分析程序就只要分析html就好了。
casperjs这货和nodejs一起使用的时候时不时会有点小问题(我遇到的问题都不大,很好解决),如果不想麻烦,npm安装spookyjs,据说就可以把casperjs作为node的模块来使用了。
当然,请求不复杂,无需验证的话,直接观察请求就可以了。
相关文章推荐
- Scrapy爬虫框架教程(四)-- 抓取AJAX异步加载网页
- Ajax异步加载web网页数据
- scrapy入门实战练习(三)----抓取AJAX异步加载网页
- Scrapy爬虫框架教程-- 抓取AJAX异步加载网页
- SharePoint 实现ajax异步加载数据的几种方式
- JSP页面通过Ajax异步验证input输入框的数据
- 通过rcurl抓取网页数据
- 使用WebView加载数据出现找不到网页的问题之解决办法(转)
- jquery 异步加载数据引起的js注入解决办法
- Android 应用开发 之通过AsyncTask与ThreadPool(线程池)两种方式异步加载大量数据的分析与对比
- AJAX是什么? AJAX的交互模型(流程)?同步和异步的区别? AJAX跨域的解决办法?
- dhl:asp.net mvc下用jQuery通过AJAX 实现HTTP 请求加载远程数据
- C#抓取ajax异步数据
- 使用原生ajax异步加载数据
- c#,jquery easy ui通过ajax实现异步加载tree
- AJAX是什么? AJAX的交互模型(流程)?同步和异步的区别? AJAX跨域的解决办法?
- cookie ajax动态网页数据的抓取
- C#抓取ajax异步数据
- javascript 通过ajax实现服务器异步数据操作
- jQuery的ajax()检验用户名;通过jQuery的load()/get()/post()方法实现;使用XMLHTTPRequest对象来进行AJAX的异步数据交互