Python 爬虫之使用代理ip
2018-01-06 10:56
876 查看
我们在爬取数据的时候有可能会出现爬到一半就不动了,有可能是因为目标网站封了你的ip,因为程序的运行是非常快的,人为的访问速度没有那么快,所以会被封,所谓道高一尺魔高一丈,我们可以有多种方法可以避免这种问题
第一种:
降低访问速度,我们可以使用time模块中的sleep,使程序每运行一次后就睡眠1s,这样的话就可以大大的减少ip被封的几率
第二种:
为了提高效率,我们可以使用代理ip来解决,ip是西刺代理的ip,代码我贴出来
第一种:
降低访问速度,我们可以使用time模块中的sleep,使程序每运行一次后就睡眠1s,这样的话就可以大大的减少ip被封的几率
第二种:
为了提高效率,我们可以使用代理ip来解决,ip是西刺代理的ip,代码我贴出来
# encoding: utf-8 import requests import json from lxml import etree def get_page(url): head ={ "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:52.0) Gecko/20100101 Firefox/52.0" } response = requests.get(url=url, headers=head).text # print(response) html = etree.HTML(response) return parse(html) def paging(): ip_dict = {} for page in range(1, 11): url = "http://www.xicidaili.com/nn/{}".format(page) ip_dict[page] = get_page(url) data = json.dumps(ip_dict) with open('ip.json', 'a+') as f: f.write(data) def parse(html): list_ip = [] contents = html.xpath("//table[@id='ip_list']/tr[position()>1]") for content in contents: ip = content.xpath("./td[2]/text()")[0] port = content.xpath("./td[3]/text()")[0] mold = content.xpath("./td[6]/text()")[0] # print(ip, port, mold) list_ip.append(mold.lower()+':'+ip+":"+port) return list_ip if __name__ == '__main__': paging()复制以上的代码保存为*.py文件就可以了,保存完之后运行,可以使用这个网站测试我们访问网站的ip:测试ip
相关文章推荐
- Python 爬虫入门(二)—— IP代理使用 - 不剃头的一休哥 - 博客园
- Python3网络爬虫之使用User Agent和代理IP隐藏身份
- Python3 爬虫使用User Agent和代理IP隐藏身份
- Python:爬虫使用代理防封IP:HTTP Error 403: Forbidden
- 【Python3.6爬虫学习记录】(十一)使用代理IP及用多线程测试IP可用性--刷访问量
- 使用python为爬虫获取免费代理ip
- Python 爬虫入门(二)—— IP代理使用
- [Python爬虫] 使用urllib2库检测代理ip是否可用,并使用代理提交GET、POST请求
- 鱼c笔记——Python爬虫(三):使用User Agent和代理IP隐藏身份
- Python 爬虫入门(二)—— IP代理使用
- Python 爬虫入门—— IP代理使用
- python3实现网络爬虫(7)-- 使用ip代理抓取网页
- Python:爬虫使用代理防封IP:HTTP Error 403: Forbidden
- 爬虫使用代理ip
- 【python爬虫】python使用代理爬虫例子
- python3使用代理ip访问指定网站
- python爬虫之Scrapy 使用代理配置
- python使用ip代理抓取网页
- Jsoup使用代理ip爬虫
- Python爬虫技巧---设置代理IP