python urllib2 设置代理 自定义header
2016-08-03 00:00
471 查看
from urllib2 import urlopen
import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://192.168.0.101:3128'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
#设置代理end
header = {'Accept-Charset':'GBK,utf-8;q=0.7,*;q=0.3','User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.151 Safari/534.16'}
#Debug Log star
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
#Debug Log end
request = urllib2.Request(url,headers = header)
res = urlopen(request)
html = res.read()
res.close()
import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://192.168.0.101:3128'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
#设置代理end
header = {'Accept-Charset':'GBK,utf-8;q=0.7,*;q=0.3','User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.151 Safari/534.16'}
#Debug Log star
httpHandler = urllib2.HTTPHandler(debuglevel=1)
httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
opener = urllib2.build_opener(httpHandler, httpsHandler)
urllib2.install_opener(opener)
#Debug Log end
request = urllib2.Request(url,headers = header)
res = urlopen(request)
html = res.read()
res.close()
相关文章推荐
- python urllib2 设置代理 自定义header
- Python3中urllib详细使用方法(header,代理,超时,认证,异常处理)
- Python3中urllib详细使用方法(header,代理,超时,认证,异常处理)
- [python]通过urllib2设置代理访问网址
- Python3中urllib详细使用方法(header,代理,超时,认证,异常处理)
- Python3中urllib详细使用方法(header,代理,超时,认证,异常处理)
- Python3中urllib详细使用方法(header,代理,超时,认证,异常处理)
- Python3中urllib详细使用方法(header,代理,超时,认证,异常处理)
- python爬虫学习(一)通过urllib2模块获取html,设置用户代理
- 【Python3.6爬虫学习记录】(六)urllib详细使用方法(header,代理,超时,认证,异常处理)
- Python3中urllib详细使用方法(header,代理,超时,认证,异常处理)
- Python3中urllib详细使用方法(header,代理,超时,认证,异常处理)
- Python3中urllib详细使用方法(header,代理,超时,认证,异常处理)
- Python3中使用urllib的方法详解(header,代理,超时,认证,异常处理)
- Python3中urllib详细使用方法(header,代理,超时,认证,异常处理)
- Python3中urllib详细使用方法(header,代理,超时,认证,异常处理)
- Python 实现类似PHP的strip_tags函数功能,并且可以自定义设置保留标签(一)
- nginx反向代理proxy_set_header自定义header头无效
- 当设置代理 运行python
- Python 与设置代理的两三事