douban 模拟自动登录爬去数据

python 自动登录

import urllib.parse,urllib.request,http.cookiejar

#########################封装cookie信息################################

cookie = http.cookiejar.CookieJar()
cookieProc = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(cookieProc)
urllib.request.install_opener(opener)

########################构造函数，进行页面上的请求：

def GetUrlRequest(iUrl,iStrPostData,header):
postdata=urllib.parse.urlencode(iStrPostData)
postdata=postdata.encode(encoding='UTF8')
req= urllib.request.Request(
url = iUrl,
data = postdata,
headers = header)
result=urllib.request.urlopen(req).read().decode("UTF8")
return result

############################header和postdata数据准备##########################

header = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0',
'Referer' : 'https://accounts.douban.com/login'  }

iStrPostData = {
'form_email' : '自己的账号',
'form_password' : '密码'
}

##############iUrl 为post对应的网址
iUrl='https://accounts.douban.com/login'

# print(GetUrlRequest(iUrl,iStrPostData,header))
GetUrlRequest(iUrl,iStrPostData,header)

#########执行了上面的函数后，爬虫程序便已经具有cookie信息，以后在访问其他页面的时候，直接传入header和url即可，不要重复传入postdata，同样，也不要再次执行上面的函数操作。
for i in range(0, 3):

url='https://www.douban.com/?p='+str(i)
req=urllib.request.Request(url=url,headers=header)
result=urllib.request.urlopen(req).read().decode("UTF8")
print(url)
print(result)