一次用爬虫扒取豆瓣电影条目信息的尝试

最近做个电影的东西，突发奇想把豆瓣的电影条目扒下来一点，看了下，现在大概有140个左右的条目，这些条目分得比较细，连某个人的电影都分了出来，所以重复的也比较多，当然这些我都还没细弄，只是大致扒了一点，而且因为扒得太快，导致暂时被封ip了。

昨天尝试了很久，本来不登录也能正常扒取电影信息，但是现在不行了，必须要登录。

豆瓣的反扒机制做得很简陋，以至于我成功时候以为就没有反扒机制。

刚开始是直接通过链接来扒取，豆瓣有的网页是返回json字符串，有的是返回整个网页，所以要区分开来。

整个扒取最关键的一点是初次登录时候response的headers里面set-cookie中的“dbcl2”一项，登录豆瓣时候的login返回的headers中set-cookie是有多项的，我没在npm库里面找到有什么好的解析方法，所以这个只能每次扒的时候手动添加，请求时候添加cookie用的是tough-cookie，这个库还是比较好用的，配合request-promise-native很简单，官方也有例子，大致看下就会了。

放一个获取单页20个条目的源代码，tough-cookie官方给的例子我觉得有的地方不太清晰，其实直接按照

let cookieJar = new request.jar()
cookieJar.setCookie('key=value', 'https://movie.douban.com')

这种格式设置就行了，多个就写多行。

代码

let getSinglePage = function (url) {
return new Promise((resolve, reject) => {
let getPage =  function () {
let cookieJar = new request.jar()
cookieJar.setCookie('dbcl2="你的dbcl2值"', 'https://movie.douban.com')
let options = {
uri: url,
jar: cookieJar,
transform: function(body) {
console.log('body', body)
return cheerio.load(body)
}
}
rp(options).then(($) => {
let movieInfos = []
console.log('$', $)
$('.nbg').each(function(index, el) {
let movieInfo = {}
movieInfo.title = $(this).attr('title')
movieInfo.url = $(this).attr('href')
movieInfo.poster = $(this).find('img').attr('src')
movieInfo.rating = $(this).parent().next().find('span[class=rating_nums]').text()
movieInfos.push(movieInfo)
});
resolve(movieInfos)
}).catch((err) => {
reject(err)
})

}
setTimeout(getPage(), 2000)
})
}