【python数据分析】CSV文件数据读写
2017-08-12 15:40
543 查看
关于CSV文件
CSV(Comma-Separated Value,逗号分隔值)格式是一种常见的文件格式。通常,数据库的转存文件就是CSV格式的,文件中的各个字段对应于数据库表中的列。可以用txt或者excel打开;文件打开后大致为以下样式:
![](http://i.imgur.com/E68UB5i.png)
使用numpy读取CSV文件数据
在NumPy中,使用loadtxt函数可以方便地读取CSV文件,自动切分字段,并将数据载入NumPy数组。loadtxt的功能是读入数据文件,这里的数据文件要求每一行数据的格式相同。这个函数有几个常用的参数,这里给出了参数的意义。
fname:读取文件的文件名。例如C:/Dataset/iris.txt。
delimiter:数据之间的分隔符。如使用逗号”,”。
dtype:数据类型。如float,str等。
usecols:选取数据的列。
这里主要说一下usecols的用法。如果iris.txt中的前4列,则usecols=(0,1,2,3)。如果取第5列这一列,则usecols=(4,)
下面,我们以载入苹果公司的历史股价数据为例展开叙述。股价数据存储在CSV文件中,第一列为股票代码以标识股票(苹果公司股票代码为AAPL),第二列为dd-mm-yyyy格式的日期,第三列为空,随后各列依次是开盘价、最高价、最低价和收盘价,最后一列为当日的成交量。如上图,下面为一组数据:
AAPL,28-01-2011, ,344.17,344.4,333.53,336.1,21144800
假如我们想获取收盘价和成交量,我们可以将收盘价和成交量分别载入两个数组,代码如下:
c,v = np.loadtxt('data,csv',delimiter=',',usecols=(6,7),unpack=True)
注:这里’data.csv’是保存数据的位置;delimiter=’,’表示用逗号做分隔符;usecols=(6,7)表示usecols的参数是一个元组,以获取第7字段和第8字段的数据;unpack参数设置为True,意思是分拆存储不同列的数据;
假如说csv文件的第一行是表头(文字),那么使用以上语句读取会报错。
ValueError: could not convert string to float: 收盘价
这时我们一般在loadtxt函数中加入skiprows=1跳过第一行就好了;
numpy以CSV保存数据
np.savetxt('np.csv',a,fmt='%.2f',delimiter=',',header="#1,#2,#3,#4")
numpy的savetxt()函数是与loadtxt()函数相对应的函数,上面的函数调用中,我们规定了用以保存数组的文件的名称、数组、可选格式、间隔符和一个可选的标题;
使用pandas读入CSV文件数据
pandas为读取CSV文件提供了read_scv()函数。详细见https://zhuanlan.zhihu.com/p/26618330import pandas as pd import os path = os.getcwd()+'\\局座哭了.csv' f = open(path, encoding='utf-8') data = pd.read_csv(f) print(data)
数据统计
print(data.describe())
读取CSV前几行
#读取文件前5行 headdata = data.head(5) print(headdata)
某行-所有列
#第一行所有数据 print(data.ix[0, :])
某几行-所有列
#获取第2/4/6行的数据 print(data.ix[[1,3,5],:])
所有行-所有列
print(data.ix[:, :])
某列-所有行
#读取username列所有的数据 print(data.ix[:, 'username'])
某几列-某几行
#读取第1、3、5行,列名为username、verified_type、comment的数据 print(data.ix[[1,3,5], ['username','verified_type','comment']])
相关文章推荐
- python数据分析之(4)读写数据文件CSV,EXCEL等
- 利用python抓取搜狗关于数据分析的文章并保存到csv文件
- python数据分析-处理CSV/EXCEL表格文件
- python/机器学习:读写机器学习中常用的.CSV数据文件t
- python读写csv文件
- 用CSV文件读写数据的两种方式(转)
- python 读写 csv文件
- [Python]使用csv dialect 读写数据
- 如何在python中读写和存储matlab的数据文件(*.mat)
- python提取百万数据到csv文件
- 用两种不同的方法导出ORACLE 查询数据为CSV 文件 (python 代码 与 使用 utl_file 包)
- Python读写csv文件
- python读取csv大数据文件到mysql数据库中(ubunu14.04下)
- php使用fputcsv()函数csv文件读写数据的方法
- 利用Python进行数据分析--数据加载、存储与文件格式
- php fputcsv() 函数csv数据读写数据库文件代码
- 用CSV文件读写数据的两种方式
- 【Python】Python的数据分析(三)——数据文件及数据结构
- Python CSV文件处理/读写及With as 用法
- Python3 模拟MapReduce处理分析大数据文件——《Python宝典》