[网络]_[批量下载网站文件]
2013-07-16 19:48
555 查看
场景:
1.有时候需要下载某个网站上提供的所有pdf文件,貌似没发现哟下载工具提供。
1.有时候需要下载某个网站上提供的所有pdf文件,貌似没发现哟下载工具提供。
#! encoding=utf-8 import urllib2 import re import os def Download(url,output): print "downloading..."+url response = urllib2.urlopen(url) resourceFile = open(output,"wb") resourceFile.write(response.read()) resourceFile.close() print "downloaded" def Action(url,ext = "pdf",output = "."): #1.domain index = url.rfind("/"); domain = url[0:index+1]; print domain request = urllib2.Request(url) response = urllib2.urlopen(request) #2.content content = response.read() # print content #3.resource mode = '\"([^\"]+'+ext+')\"' pattern = re.compile(mode) strMatch = pattern.findall(content) size = len(strMatch) print "file num: "+str(size) for i in range(0,size,1): # print strMatch[i] one = strMatch[i] partIndex = one.rfind('/') if not one.startswith('http://'): if -1!=partIndex: directDir = one[0:partIndex+1] else: directDir = "" # print directDir try: os.makedirs(output+"/"+directDir) except Exception,e: pass fileUrl = domain+one fileOutput = output+"/"+one print fileUrl print fileOutput Download(fileUrl,fileOutput) else: print one print "........." print one[partIndex:] fileOutput = output+"/"+one[partIndex:] print fileOutput Download(one,fileOutput) #5.download if __name__=='__main__': print "download" url = "http://compgeom.cs.uiuc.edu/~jeffe/teaching/algorithms/"; Action("http://tech.qq.com/","jpg");
相关文章推荐
- java 批量下载网络文件
- php实现网站文件批量压缩下载功能
- python批量下载兰科植物网站的图片,并重命名文件
- 根据网络路径批量下载文件保存到本地
- php实现网站文件批量压缩下载功能
- 批量下载网站文件
- 网络爬虫 -- 批量下载网站图片
- 多家网站用户密码数据库被爆 下载地址及文件网络疯传
- 【zz】Python2 批量下载网站文件
- [Python]_[批量下载网站文件]
- 在MVC中实现和网站不同服务器的批量文件下载以及NPOI下载数据到Excel的简单学习
- [No00006B]方便的网络下载工具wget 可下载网站目录下的所有文件(可下载整个网站)
- [Python]_[批量下载网站文件]
- Afinal加载网络图片及下载文件使用方法
- Java BufferedReader下载网络文件
- 网络编程练习 -- 大文件下载
- 如何用nfs命令烧写内核和文件系统(网络下载文件到nandflash)(未完)
- Android 之 OkHttp + EventBus 进行后台下载网络文件
- ios开发网络学习四:NSURLConnection大文件断点下载
- 标识识别的注意点、dll缺失文件下载网站