Python爬虫之爬取——使用代理
2017-08-14 10:19
453 查看
使用代理来访问网站。
使用urllib2模块支持代理
headers = {'User-agent': agentname}
request = urllib2.Request(url, headers=headers)
proxy = ""
opener = urllb2.build_opener()
proxy_params = {urlparse.urlparse(url).scheme: proxy}
opener.add_handler(urllib2.ProxyHandle(proxy_params))
html = opener.open(request).read()
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- [python]新手写爬虫v2.5（使用代理的异步爬虫）
- 使用PYTHON3写了一个简单爬虫, 通过公司代理爬取ppt素材
- python3实现网络爬虫（7）-- 使用ip代理抓取网页
- 【python爬虫】python使用代理爬虫例子
- Python:爬虫使用代理防封IP：HTTP Error 403: Forbidden
- python爬虫之Scrapy 使用代理配置
- Python 爬虫入门（二）—— IP代理使用 - 不剃头的一休哥 - 博客园
- Python开发中爬虫使用代理proxy抓取网页的方法示例
- Python 爬虫之使用代理ip
- Python3 爬虫使用User Agent和代理IP隐藏身份
- Python爬虫——4.6使用requests和正则表达式、随机代理爬取淘宝网商品信息
- python使用代理爬虫例子
- python3爬虫（8）：异常处理以及代理的使用
- 【Python3.6爬虫学习记录】（六）urllib详细使用方法(header,代理,超时,认证,异常处理)
- python爬虫之Scrapy 使用代理配置
- python爬虫初学（二）——使用代理
- 讲解Python的Scrapy爬虫框架使用代理进行采集的方法
- 【Python3.6爬虫学习记录】（十一）使用代理IP及用多线程测试IP可用性--刷访问量
- 讲解Python的Scrapy爬虫框架使用代理进行采集的方法
- python爬虫之Scrapy 使用代理配置