python 网络爬虫——请求头，ip代理

构造合理的 HTTP 请求头

为什么要伪装？

有些网站在处理请求的时候，会对请求头中的字段进行判断，如果发现这个请求头中出现有关爬虫程序的信息，会对这个请求做出禁止访问或者封杀的操作，因此我们需要对请求进行伪装，让网站无法分别请求是否为爬虫。

分析：

爬虫爬取网页时：

经典的 Python 爬虫在使用 urllib 标准库时，都会发送如下的请求头：



浏览器获取网页时：

浏览器用来初始化所有网络请求：



可以看到是：Mozilla/5.0 (Windows NT 6.1; WOW64) …

虽然网站可能会对 HTTP 请求头的每个属性进行“是否具有人性”的检查，但是我发现通常真正重要的参数就是

User-Agent。无论做什么项目，一定要记得把 User-Agent 属性设置成不容易引起怀疑的内容，不要用

Python-urllib/3.4。另外，如果你正在处理一个警觉性非常高的网站，就要注意那些经常用却很少检查的请求头，比如

Accept-Language 属性，也许它正是那个网站判断你是个人类访问者的关键。

具体操作：

import urllib2
url = 'http://www.baidu.com'
#创建一个request请求对象
# 1.url 2.URL参数 3.headers 请求头字典
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) '
'Gecko/20100101 Firefox/54.0',

}
request = urllib2.Request(url,headers = headers)
urllib2.urlopen(request)

这时候我们再抓包看看这个请求头是否改变了

Request

urlopen方法也可通过建立了一个Request对象来明确指明想要获取的url。调用urlopen函数对请求的url返回一个response对象。这个response类似于一个file对象，所以用.read()函数可以操作这个response对象

Request类是一个抽象的URL请求

urllib2.Request(url[, data][, headers][,originreqhost][, unverifiable])

Request类中的构
def __i
ae6e
nit__(self, url, data=None, headers={},
origin_req_host=None,unverifiable=False)

重要的3个参数说明如下：

URL 是一个字符串，其中包括一个有效的URL。

data 是一个字符串，指定额外的数据发送到服务器，如果没有data需要发送可为”None”。目前使用data的HTTP请求是唯一的。当请求含有data参数时，HTTP的请求是POST，而不是GET。

headers 是字典类型，字典可以作为参数在request时直接传入，也可以把每个键和值作为参数调用add_header()方法来添加。

作为辨别浏览器身份的User-Agent hader是经常被用来恶搞和伪装的。因为一些HTTP服务只允许默写请求来自常见的浏览器而不是脚本，或是针对不同的浏览器返回不同的版本

设置ip代理

为什么要使用ip代理：

有些网站服务器，会检测ip发起的请求，如果同一个ip请求次数过多，会进行限制访问，导致爬虫失败。

import urllib2
url = 'http://www.baidu.com'

headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) '
'Gecko/20100101 Firefox/54.0',
}

request = urllib2.Request(url,headers = headers)
'''
urllib2.urlopen()中没有关于ip代理的内容，如果要使用ip代理，需要自己重新
创建一个openner对象，设置ip代理

字典中存放ip代理的地址和端口
'''
proxies = {'http':'127.0.0.1:2345'}
#根据字典创建代理对象
proxy_handler = urllib2.ProxyHandler(proxies)
#自己创建一个用于发送请求的opener对象
opener = urllib2.build_opener(proxy_handler)
#使用自己创建的opener对象发起请求
response = opener.open(request)

print response.read()