phantomjs 抓取搜狗相关搜索的例子
2014-04-04 16:32
169 查看
phantomjs 是一个具有webkit内核的无界面浏览器,有很多强大的功能,做爬虫也是很简单的(当然是简单的爬虫),
这是一个爬取搜狗相关搜索的例子,可以多加点东西,或者改成爬取其他网页的爬虫:
使用实例:
这是一个爬取搜狗相关搜索的例子,可以多加点东西,或者改成爬取其他网页的爬虫:
var page = require('webpage').create(); var system = require('system'); if (system.args.length != 2) { console.log("input keyword to search!"); } else { // 设置编码一般使用System不会出错 utf8反而不给力 phantom.outputEncoding = 'System'; // 通过命令行读取搜索参数 address = encodeURI('http://www.sogou.com/web?query=' + system.args[1]); console.log(address); try { var openbaidu = page.open(address, function(status) { var title = page.evaluate(function() { // WebKit接口 var res = document.querySelectorAll('#hint_container a'); var res_text = ''; for (i = 0; i < res.length; i++) { res_text += res[i].innerHTML + "\n"; } return res_text; }); console.log(title); }); openbaidu; } catch (e) { console.log(e); } }
使用实例:
相关文章推荐
- 【菜鸟手打js】第四篇-将数据集转为json格式字符串
- 七步从Angular.JS菜鸟到专家(3):数据绑定和AJAX
- 七步从Angular.JS菜鸟到专家(2):Scopes
- 七步从Angular.JS菜鸟到专家(1):如何开始
- js元素绑定事件
- JS构造对象的常用方式
- jstl标签中if语句的使用
- JavaScript Window对象
- JavaScript破解验证码
- javascript this用法小结
- jackson json数据过滤,用于hibernate的懒加载对象级联关系的json解析
- JSON基础
- Javascript排序算法之合并排序(归并排序)的2个例子
- 分页逻辑
- JavaScript水平导航菜单
- JS与JSP区别
- JSF的参数传递
- JSON-RPC轻量级远程调用协议介绍及使用
- jsPlumb Demo源码分析
- json lib的使用