【详解】Python模拟登录b站并抓取信息【教程续】

之前我们写过一个 模拟登录b站 的脚本教程，但写到登录这一步时，碰到了验证码的问题，一直没解决，遂不了了之。

这几天又回头研究了验证码问题，并成功解决。

这一下午也成功实现了模拟登录b站！所以我们接着写下去。

首先说一下大致思路，模拟登录网站与以前一样，提交postdata。

验证码问题，我们获取验证码图片到本地，然后人工输入验证码，实现登录。

登录成功与否的判定条件是，访问个人中心的网址，看返回的网页代码。

如果登录成功，会返回个人中心的代码。如果失败，会返回需要登录的提示代码。

接下来对这个过程进行详细的阐述！

照旧，先贴出全部代码如下：

#!/usr/bin/python
# -*- coding: utf-8 -*-

__author__ = "$Author: wangxin.xie$"
__version__ = "$Revision: 1.0 $"
__date__ = "$Date: 2015-12-16 15:03$"

###############################################################
# 功能：模拟登录b站成功后,获取个人关注动态的视频信息
###############################################################
import urllib
import urllib2
import datetime
import sys
import cookielib
import json
#####################全局变量###########################################

today = datetime.datetime.today()
todayStr = datetime.datetime.strftime(today, "%Y-%m-%d")
lastDayDate = today - datetime.timedelta(1)
lastDayDateStr = datetime.datetime.strftime(lastDayDate, "%Y-%m-%d")
picname="vdcode.png"
vdUrl="https://account.bilibili.com/captcha"
goLoginUrl="https://account.bilibili.com/login"
loginUrl="https://account.bilibili.com/login/dologin"
accountUrl="http://account.bilibili.cn/crossDomain?Expires=604800&DedeUserID=7385982&DedeUserID__ckMd5=258b1b7cb17d993c&SESSDATA=c4090d71,1450773446,55659e39&gourl=http://www.bilibili.com/"
mainUrl="http://www.bilibili.com/"
memberUrl="http://member.bilibili.com"
#################################################################

def getVdCode():
'''获取验证码图片'''
resp=urllib2.urlopen(vdUrl)
f = open(picname, 'wb')
f.write(resp.read())
f.close()
print('VdCodePic Saved!')

def dealCookie():
'''处理cookie'''
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)

def toLogin():
'''进入登录页面'''
resp = urllib2.urlopen(goLoginUrl)
html = resp.read().decode('utf-8').encode('gbk')

def login():
'''开始登录'''
username=raw_input("please input your username: ")
password=raw_input("please input your password: ")
vdcode = raw_input("please input your vdcode: ")
# 登录
postDict = {
'userid'      :username,
'pwd'      : password,
'vdcode'   : vdcode
}
postData = urllib.urlencode(postDict)
req = urllib2.Request(loginUrl, postData)

urllib2.urlopen(req)
urllib2.urlopen(memberUrl)
resp=urllib2.urlopen("http://member.bilibili.com/index.do?act=dynamic&page=1")

#开始解析Python数据
resp = resp.read().decode('utf-8').encode('gbk')
data = json.loads(resp)
print '------------------------------------------------'
for i in range(10):
print data[str(i)]['time_at']
print data[str(i)]['uname']+': '+data[str(i)]['title']
#因为播放数是数字,所以要转成字符串
print '播放数: '.decode('utf-8')+str(data[str(i)]['play'])
print '------------------------------------------------'

def main():
print "===%s start===%s"%(sys.argv[0], datetime.datetime.strftime(datetime.datetime.now(), "%Y-%m-%d %H:%M:%S"))
dealCookie()
toLogin()
getVdCode()
login()
print "===%s end===%s"%(sys.argv[0], datetime.datetime.strftime(datetime.datetime.now(), "%Y-%m-%d %H:%M:%S"))

#################################################################################
if __name__ == "__main__":
main()
 

我们在主函数中可以看到整个代码逻辑：

先处理cookie，

然后进入登录页面，

拿到验证码，

然后进行登录操作，即，自行输入用户名、密码、验证码。

最后就能输出个人的关注动态中的视频信息了。

其实整个过程，与最简单的不需要输入验证码的模拟登录，的区别就是：

需要拿到验证码图片，人工输入验证码。

然后才能实现登录操作，仅此而已。

我们会最基本的模拟登录，了解最简单的验证码分析原理，就能够达到   模拟登录需要验证码的网站   的目的了。

接下来的抓取关注动态的数据，也不过就是找到了我们所需要的数据的链接。

然后发现这个链接返回的是JSON数据。

访问该链接，解析返回的JSON数据，就能够拿到我们想要的那些数据了。

【错误记录】

这里提一下犯的极其傻逼不可原谅的错误。

之所以花了一段时间才做完这个脚本，也是因为在这个问题上的粗心大意废了不少时间。

即，之前，先获取了验证码，然后再进入的登录页面！！

getVdCode()

toLogin()

提示验证码不对是自然的。一度以为是cookie的问题，还把问题想得很复杂。

不过也多亏这个错误，知道了cookie的自动处理是很简单的事情！只需要在脚本开始的时候用

def dealCookie():
'''处理cookie'''
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)

这几行代码声明一下，就可以不用担心了。

接下来，进入登录页面，然后获取验证码。才是对的！

toLogin()
getVdCode()
login()

OVER！