nodejs爬虫----爬取煎蛋网美女图片

这是一个很简单的爬虫，主要是爬取简单妹子图

不跟你多BB，马上上车…,

你需要先安装好nodejs，npm,最好能有淘宝镜像cnpm

负责响应网络请求的request模块

npm install request

负责对抓取的数据进行处理的cheerio

npm install cheerio

负责下载图片的fs模块

npm install fs

负责格式化图片名称的模块path

npm install path

负责处理异步并发的模块async

npm install  async

先看总体效果

var request = require('request');
var cheerio = require('cheerio');
var path = require('path');
var fs = require('fs');
var async = require('async');

var options = [];  //用于存储网址链接的数组
var n=0;

//先生称图片地址链接的数组
for (var i = 1319; i <1329; i++) {
var obj = {
url: 'http://jandan.net/ooxx/page-' + i,
headers:{
'User-Agent': 'request'
}
}
options.push(obj);
}

//用来处理这个调用逻辑的总函数
function all(err, res, body) {
var $ = cheerio.load(body);
n=n+$(".commentlist img").length;
console.log(n);
$(".commentlist img").each(function (i, ele) {
var imgsrc = 'http:' + $(this).attr('src');
var fileName = FileName(imgsrc.toString());
//下载文件操作
downloadImg(imgsrc, fileName, function () {
console.log(fileName + 'upload 完成');
});
})
}
//格式化图片名称
function FileName(url) {
var fileName = path.basename(url);
return fileName;
}
//利用fs模块download图片
function downloadImg(url, filename, callback) {
var stream = fs.createWriteStream('images/' + filename);
request(url).on('error',function(){
console.log('done no');
}).pipe(stream).on('close', callback);
}

//利用async的mapLimit方法实现限定并发数为3的调用
async.mapLimit(options,3, function (option, callback) {
request(option, all);
callback(null);
}, function (err, result) {
if (err) {
console.log(err);
} else {
// console.log(result);
console.log('全部检索完毕');
}
})