网络爬虫学习一

一. 根据url抓取页面源码：

import re
import urllib

def getHtml(url):
agent=''
page=urllib.urlopen(url)
html = page.read()
return html

try:
html = getHtml(url='https://www.zhihu.com/question/20899988')
#html.encoding = 'utf-8'
except Exception:
print 'getHtml fail'

print html

二. 从抓取的网页中下载图片

def getImg(html):
reg = r'src="(.+?\.jpg)"'
#reg=r'src'
pat = re.compile(reg)
imgList = re.findall(pat,html)
x=1
for imgurl in imgList:
urllib.urlretrieve(imgurl,'%s.jpg' % x)
x+=1

三. 抓取前模拟登陆

相关知识：

     http消息头 ：理解HTTP消息头