windows使用python调用wget批处理下载数据

wget是linux/unix下通常使用的下载http/ftp的数据，使用非常方便，其实wget目前经过编译，也可在windows下使用。最近需要下载大量的遥感数据，使用了python写了批处理下载程序，使用的是urllib的urlretrieve进行下载，数据下载还可以，但是界面交互性不好看。就根据自己在linux下载数据进行了改进。

1. wget在windows下的安装：

从网站下载wget for windows工具（http://gnuwin32.sourceforge.net/packages/wget.htm），解压后将wget.exe拷贝至system32下，然后从cmd中键入wget，安装成功提示如下：





2. python批处理脚本下载

下载的大量遥感水色数据来自于NASA OBPG网站（http://oceandata.sci.gsfc.nasa.gov），根据Order之后的数据列表，保存至txt，之后构建下载网址及字符串；而后使用suprocess.call进行下载。





代码如下：

#http://oceandata.sci.gsfc.nasa.gov/cgi/getfile/A2005067190000.L0_LAC.bz2

#!/usr/bin/env python
#coding:utf-8
import os
import os.path
import subprocess

def retrieving_obpg(filelist,outpath):
'''Download data'''
f = open(filelist,'r')
log= open(os.path.splitext(filelist)[0]+'_log.txt','w')
os.chdir(outpath)
print(os.curdir)
for i in f:
try:
each_item = str(i.strip())
cmd = 'wget http://oceandata.sci.gsfc.nasa.gov/cgi/getfile/'+each_item print(cmd)
if not os.path.exists(outpath+each_item):
status = subprocess.call(cmd)
if status !=0:
log.write('\nFailed:'+each_item)
continue
log.write('\nSuccess:'+each_item)
log.flush()
except:
log.write('\nFailed:'+each_item)
continue
f.close()
log.close()

if __name__  =='__main__':
import glob
outpath = 'F:\\卫星数据\\MODIS\\'
for filelist in glob.glob(r'F:\卫星数据\MODIS\filelists\*m2s.txt'):
retrieving_obpg(filelist,outpath)
print('END')