node.js爬虫之下载图片，批量下载图片，控制下载图片并行上限

首先介绍一下爬虫所需要的的包

require(“request”); –get post请求页面

require(“cheerio”) –解析文本对象为DOM对象 也就是说将string 装换为 js操作的 $() 这种选择器

require(‘fs’); – 保存文件到本地

require(“async”) –流程控制 主要是控制抓取时间间隔

require(‘mkdirp’); –创建文件夹

require(‘iconv-lite’); GBK UTF-8 转码

require(‘url’) –解析url成各种对象

require(‘path’); –处理文件路径

接下来是抓取图片的流程了

首先定义配置
var options = {
uri: 'http://www.xxxxxx.com/',
dir: './output/', //保存目录
downLimit: 2//图片并行下载上限
}

然后主程序检测图片下载完事件
/**
* 开始下载（程序入口函数）
*/
function start() {
//url地址 如果是的url是规律的分页 可以看我另外一个[爬斗鱼虎牙主播](http://blog.csdn.net/q3585914/article/details/72058261)
var opts = [
// 'htm_data/7/1705/2423174.html',
'htm_data/7/1705/2402955.html',
'htm_data/7/1705/2385537.html',
'htm_data/7/1705/2382263.html'
];
//串行抓取页面，就是一个一个抓，
async.forEachSeries(opts, function(opt, callback) {
//抓当个页面
parsePage(options.uri +opt, (err) => {callback()});
},function (err) {
if (err) {
console.log('error: %s'.error, err.message);
} else {
console.log('success: 下载完毕'.info);
}
});

}
//抓单个页面
function parsePage(url, callback) {
request({url: url, encoding: null}, function (error, response, body) {
if (!error && response.statusCode == 200) {
//由于页面是GBK 所以使用模块iconv来转码
var str = iconv.decode(body, 'gbk');
//将字符串装换为DOM
var $ = cheerio.load(str);
var links = [];
//分析图片url,由于使用了cheerio模块所以跟页面js一样分析
$(".do_not_catch .do_not_catch").find("img").each(function () {
var src = $(this).attr('src');
links.push(src);
});

// 创建目录
var title = $("title").text()
var newdir =options.dir+title.trim().replace(" - 技術討論區", "");
//创建目录，一个页面，一个目录
mkdir(newdir);
//下载图片
downImages(newdir,links,callback)

}
});

}

/**
* 创建目录
*/
function mkdir(title) {

console.log('准备创建目录：%s', title);
if (fs.existsSync(title)) {
console.log('目录：%s 已经存在'.error, title);

}else {
mkdirp(title, function (err) {
console.log('title目录：%s 创建成功'.info, title);
});
}
}

/**
* 下载图片列表中的图片
*/
function downImages(dir,links, callback) {
console.log('发现%d张图片，准备开始下载...', links.length);
//eachLimits 控制下载图片并行上限 第二个参数 options.downLimit 就是配置
async.eachLimit(links, options.downLimit,function (imgsrc,cb) {
var url = urldm.parse(imgsrc);
//获取url最后的名字
var fileName = path.basename(url.pathname);
//去掉/
var toPath = path.join(dir, fileName);
console.log('开始下载图片：%s，保存到：%s', fileName, dir);
//这个地方要详细说了
request(encodeURI(imgsrc)).on('error', function(err) {
cb();
}).pipe(fs.createWriteStream(toPath)).on('finish',()=>{
console.log('图片下载成功：%s', imgsrc);
cb();})
}, callback);

}

下载图片可以使用

request('http://google.com/doodle.png').pipe(fs.createWriteStream('doodle.png'))

但是如果图片下载和保存出错就会导出程序报错终止，所以需要加一个事件来控制

就是来监听error,他可以解决你保存时候出错问题 cb()就是回调跳过

这哥可以解决批量下载图片时候出现的异常

request(encodeURI(imgsrc)).on('error', function(err) {
cb();
}).pipe(fs.createWriteStream(toPath)).on('finish',()=>{
console.log('图片下载成功：%s', imgsrc);
cb();})

欢迎加群一起交流哦！

315552185