Python之抓取动态网页

#_*_coding:utf8_*_
import re
import os
import urllib,urllib2
import sys
reload(sys)
#创建保存图片文件夹
if(os.path.exists('保存图片文件的名称')==False:
os.mkdir('保存图片文件的名称')
#模拟请求
def img():
#打开抓取的网页源代码，可以看到pin_id
pin_id=网页中的数字
while pin_id !=None
url='打开网页的网址?'+str(pin_id)
try:
i_header={"User-Agent":"打开审查元素，切换到网络，可以看到此项内容，粘贴复制到这里。"，、"Referer":'http://baidu.com/（其他浏览器）'}
zq=urllib2.Requests(url,headers=i_header
html=urllib2.urlopen(zq).read()
zqd=re.compile('"user_id":(.*?),.+?"file":{"farm":"farm1", "bucket":"hbimg",.+?"key":"(.*?)",.+?"type":"image/(.*?)"',re.S)
groups=re.findall(zqd,html)
print "start to catch"+str(len(groups))
for att in groups:
pin_id=att[0]
att_url = att[1] + '_fw236'
img_type = att[2]
img_url='http://img.hb.aicdn.com/'+att_url
if(urllib.urlretrieve(img_url,'保存图片的文件夹'+att_url+'.'+img_type)):
print 'download success'
else:
print 'downing fail'
except:
print 'Error'
img()