python 下载或者直接读取csv文件
2016-10-21 16:34
806 查看
#! /usr/bin/python2 # coding=utf-8 import urllib2 import csv #url = 'http://quotes.money.163.com/service/chddata.html?code=1000002' #url = 'http://table.finance.yahoo.com/table.csv?s=000002.sz' url = 'http://hq.sinajs.cn/?list=sh600127' #print url req_header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11', 'Accept':'text/html;q=0.9,*/*;q=0.8', 'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3', 'Accept-Encoding':'gzip', 'Connection':'close', 'Referer':None #注意如果依然不能抓取的话,这里可以设置抓取网站的host } req_timeout = 500 #req = urllib2.Request(url,None,req_header) req = urllib2.Request(url) #print req # 如果不需要设置代理,下面的set_proxy就不用调用了。由于公司网络要代理才能连接外网,所以这里有set_proxy… # req.set_proxy('proxy.XXX.com:911', 'http') #socket = urllib2.urlopen(req,None,req_timeout) socket = urllib2.urlopen(req) content = socket.read() #content = socket.read().decode('GB18030') socket.close() ''' import urllib import csv #下载文件 url = 'http://table.finance.yahoo.com/table.csv?s=000002.sz' urllib.urlretrieve(url, "1000002.csv") #从文件读取 reader = csv.reader(file('1000002.csv','rb')) for line in reader: #忽略第一行 print line,line[0],line[1] if reader.line_num == 3: break ''' rows = content.split('\n') i = 0 for row in rows: #忽略第一行 print row if i == 2: break i += 1 ''' #str = content.decode('gbk', 'ignore') #print content #data = csv.reader(content) rows = content.split('\n') for row in rows: #print row split_row = row.split(",") #split_row[1] = int(split_row[1]) #full_data.append(split_row) full_data = [] for row_s in split_row: full_data.append(row_s) print full_data #print str #data = str.split('"')[1].split(',') #for i in str.split(','): # print i '''
相关文章推荐
- python读取csv文件、excel文件并封装成dict类型的list,直接看代码
- Python pandas读取csv文件直接转化成二维列表(Dataframe转化为list)
- php对csv文件的读取,写入,输出下载操作
- ASP.NET下载文件出现提示框或者直接显示在浏览器中
- python读取CSV文件
- php对csv文件的读取,写入,输出下载操作
- python读取csv文件示例(python操作csv)
- 下载文件出现提示框或者直接显示在浏览器中
- 数据写入到csv文件或者通过浏览器导出到下载文件
- php读取csv实现csv文件下载功能
- 怎么解决 配置 Microsoft Dynamics CRM 2011 IFD 虚拟机上用IE9打开 federationmetadata.xml文件显示不了,或者直接显示下载,但是下载失败?
- python读取csv文件
- php对csv文件的读取,写入,输出下载操作
- 使用python读取csv文件,并将数据更新至mysql
- IE<=8 下载或者读取录音文件的问题
- MySQL 直接读取csv文件数据到表中
- CSV文件直接读取
- python读取csv文件生成系统账号dos命令bat文件
- php对csv文件的读取,写入,输出下载操作
- python读取csv文件示例(python操作csv)