您的位置:首页 > Web前端 > JavaScript

phantomjs 抓取搜狗相关搜索的例子

2014-04-04 16:32 169 查看
phantomjs 是一个具有webkit内核的无界面浏览器,有很多强大的功能,做爬虫也是很简单的(当然是简单的爬虫),

这是一个爬取搜狗相关搜索的例子,可以多加点东西,或者改成爬取其他网页的爬虫:

var page = require('webpage').create();
var system = require('system');

if (system.args.length != 2) {
console.log("input keyword to search!");
} else {
// 设置编码一般使用System不会出错 utf8反而不给力
phantom.outputEncoding = 'System';
// 通过命令行读取搜索参数
address = encodeURI('http://www.sogou.com/web?query=' + system.args[1]);
console.log(address);
try {
var openbaidu = page.open(address, function(status) {
var title = page.evaluate(function() {
// WebKit接口
var res = document.querySelectorAll('#hint_container a');
var res_text = '';
for (i = 0; i < res.length; i++) {
res_text += res[i].innerHTML + "\n";
}
return res_text;
});
console.log(title);
});

openbaidu;
} catch (e) {
console.log(e);
}
}


使用实例:

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: