casperjs爬虫总结 -- (2) casperjs

casperjs爬虫总结 -- (2) casperjs

1. 为什么简单的request请求不够

作为爬虫,估计直接request是第一想法

但是现代的web,有很多数据不是在一个request里就全部包含了,还有很多是通过js和ajax请求来获取的,所以我们需要一个虚拟的浏览器来模拟

2. 简介phantom

官网:
http://phantomjs.org/
phantom是一个可以通过js api来编程的"无头"(headless)浏览器

它就如一个真实的浏览器,但是因为"无头",所以它可以运行的更快

它的应用场景比如:

web测试

抓屏

页面自动化操作

等等...

我们来看一段示例代码:

console.log('Loading a web page');
var page = require('webpage').create();
var url = 'http://phantomjs.org/';
page.open(url, function (status) {
//Page is loaded!
phantom.exit();
});

解释:

var page = require('webpage').create();

生成一个webpage的实例,你可以理解为一个"浏览器"

page.open(url, function (status) {
});

打开一个url,后面的function是其回调

phantom.exit();

退出phantom

自己动手写一个"抓屏新浪主页"的程序

var page = require("webpage").create();
page.open("http://www.sina.com.cn",function(){
page.render('sinaThumb.png');
phantom.exit();
});

使用了render方法,因为新浪首页内容很多,所以比较耗时

方法结束后,会有一个png图出现在当前文件夹

备注:phantom使用js来编程,同时看上去很像nodejs模块,但是它不是

3. casperjs

官网:
http://casperjs.org/
casperjs跟phantom的关系,用一个不恰当的比喻来说,就是jquery跟js的关系

casperjs优化了phantom的api操作,使之操作更加的简单

看个例子:

var casper = require('casper').create();
casper.start('http://casperjs.org/', function() {
this.echo(this.getTitle());
});
casper.thenOpen('http://phantomjs.org', function() {
this.echo(this.getTitle());
});
casper.run();

解释:

1 casper在start的时候,并没有直接就开始去访问页面了,所有的运行都必须用run方法来开启

2 thenOpen这样的方法,保证了异步调用的秩序.

在这里,casper的动作秩序如下

访问'http://casperjs.org/'

在回调中echo(打印)出页面的title

再访问'http://phantomjs.org'

再在回调中echo(打印)出页面的title

4. 重要概念沙箱

先看phantom官方代码:

来源->http://phantomjs.org/api/webpage/method/evaluate.html

page.open('http://m.bing.com', function(status) {

var title = page.evaluate(function(s) {
return document.querySelector(s).innerText;
}, 'title');

console.log(title);
phantom.exit();

});

解释:

当我们的phantom实例page访问了一个url,从而得到"填充"了的page

我们想对page中的元素进行梳理,返回信息等等操作,从源头上说,都是通过evaluate这个方法

evaluate构建了一个"沙箱",从而隔离出了一个新的js环境,导致外部的变量是不能在"沙箱"中访问的

如果要访问,则必须在evaluate函数的后面参数上挂上实参

如上例中,就把'title'传给了evaluate函数的s形参

官方原文对这个传入的实参的要求说的很清楚:

(原文)

Note: The arguments and the return value to the evaluate function must be a simple primitive object. The rule of thumb: if it can be serialized via JSON, then it is fine.

Closures, functions, DOM nodes, etc. will not work!

简单原始的对象可以被传入,怎么样才算"简单原始"呢,就是可以json化

反过来说,"闭包","函数","dom节点"这样是不能工作的

在最后,官方也介绍了另一种可以从沙箱中获取消息的方式,就是使用事件

var webPage = require('webpage');
var page = webPage.create();

page.onConsoleMessage = function(msg) {
console.log(msg);
}

page.open('http://m.bing.com', function(status) {

page.evaluate(function() {
console.log(document.title);
});

phantom.exit();

});

沙箱里,在控制台输出信息,沙箱外可以通过监听控制台来获取信息

以上虽然在说phantom,但是因为casper基于它,所以道理是互通的

最后附图抓取新浪的截图: