python提取页面内url列表的方法

本文实例讲述了python提取页面内url列表的方法。分享给大家供大家参考。具体实现方法如下：

from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
websiteurl=url
t=time.time()
n=0
html=urllib2.urlopen(websiteurl).read()
soup=BeautifulSoup(html)
pageurls=[]
Upageurls={}
pageurls=soup.find_all("a",href=True)
for links in pageurls:
if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
Upageurls[links.get("href")]=0
for links in Upageurls.keys():
try:
urllib2.urlopen(links).getcode()
except:
print "connect failed"
else:
t2=time.time()
Upageurls[links]=urllib2.urlopen(links).getcode()
print n,
print links,
print Upageurls[links]
t1=time.time()
print t1-t2
n+=1
print ("total is "+repr(n)+" links")
print time.time()-t
scanpage("http://news.163.com/")

希望本文所述对大家的Python程序设计有所帮助。

您可能感兴趣的文章:

• python根据京东商品url获取产品价格
• python使用正则表达式提取网页URL的方法
• Python实现从URL地址提取文件名的方法
• python对url格式解析的方法
• 使用Python生成url短链接的方法
• python实现通过代理服务器访问远程url的方法
• python实现对一个完整url进行分割的方法
• python打开url并按指定块读取网页内容的方法
• Python实现的百度站长自动URL提交小工具
• python检查URL是否正常访问的小技巧