使用Python自动获取可用代理列表
2015-06-11 22:08
736 查看
今天闲来无事,随便写的一个从代理发布网站上提取可用代理列表的脚本。
运行后,可以获取http://cn-proxy.com/发布的可用代理ip和端口的列表。
运行效果如下:
源代码如下,请指教:
# -*- coding: utf-8 -*- # Python: 2.7.8 # Platform: Windows # Author: wucl # Program: 从代理网站获取可用代理 # History: 2015.6.11 import urllib2, re from bs4 import BeautifulSoup def get_proxies(url): """ 从代理网站获取可用代理ip地址列表并返回 """ resp = urllib2.urlopen(url) html = resp.read() soup = BeautifulSoup(html) contents = soup.find_all('tr') regex = re.compile('\d+') proxies = [] for each in contents: sock = each.find_all('td') if sock: ip = sock[0].text port = sock[1].text if re.findall(regex, ip): proxy = '%s:%s' %(ip, port) proxies.append(proxy) return proxies if __name__ == '__main__': url = 'http://cn-proxy.com/' proxies = get_proxies(url) print proxies
相关文章推荐
- Python动态类型的学习---引用的理解
- Python3写爬虫(四)多线程实现数据爬取
- 垃圾邮件过滤器 python简单实现
- 下载并遍历 names.txt 文件,输出长度最长的回文人名。
- install and upgrade scrapy
- Scrapy的架构介绍
- Centos6 编译安装Python
- 使用Python生成Excel格式的图片
- 让Python文件也可以当bat文件运行
- [Python]推算数独
- Python中zip()函数用法举例
- Python中map()函数浅析
- Python在CAM软件Genesis2000中的应用
- 使用Shiboken为C++和Qt库创建Python绑定
- FREEBASIC 编译可被python调用的dll函数示例
- Python 七步捉虫法
- Python实现的基于ADB的Android远程工具