Python爬虫—1入门_2_python内置urllib库的高级用法

1、设置Headers
     很多的网站并不允许之前的方式来进行网页访问；
     它们可能会识别出发来网页请求的不是浏览器，这时候，我们就需要完全模拟浏览器；
     这时候就需要设置一些headers属性。
     下面介绍一些比较重要的headers属性需要设置：
     user-agent：发出网页请求的浏览器信息
     referer：反盗链，存放的是当前请求的网址

     cookie：身份识别信息，比如登录状态、用户信息、session信息等
          以下是例程：

import urllib
import urllib2
url = "http://www.u148.net/ajax/user/login"
user_agent = "Mozilla/5.0 (Windows NT 6.1; WOW64)"
referer = "http://www.u148.net/ajax/user/login"
headers = {"user-agent": user_agent, "referer": referer}
values = {"uname":"zhoushuo_19@126.com", "password":"XXXXXXX"}
data = urllib.urlencode(values)
request = urllib2.Request(url, data, headers)
response = urllib2.urlopen(request)
print response.read()

2、Proxy（代理）的设置
     有部分网站会限制同一个ip的访问次数，用于防止爬虫或者ddos攻击；
     当访问次数过多时，就会禁止该ip的访问，这时就需要设置一些代理服务器；
     每隔一段时间就换一个代理。
     因为普通的urlopen()函数不支持验证、cookie或者其他HTTP高级功能；
     这里需要使用build_opener( )函数创建自定义的opener对象，用以支持上述功能；
     build_opener([handler1 [handler2 ... ]])
     handler是Handler实例，常用的有HTTPBasicAuthHandler、HTTPCookieProcessor、ProxyHandler等
     install_opener(opener)
     安装不同的opener对象作为urlopen( )使用的全局opener

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http":"http://some-proxy.com:8080"})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

3、Timeout设置
     设置超时，解决一些网站相应时间过长造成的影响

import urllib2
response = urllib2.urlopen("http://www.baidu.com", timeout = 10)