Pandas DataFrame 日常的操作与发现

import numpy as np

import pandas as pd

一，选择数据

当使用ix[a,b]精确取元素时，a取df的index值。例子中end_time为df的index

a = df.ix[end_time,0]

但是使用iat[m,n]精确取元素时，第一个arg不能为index,必须为行的行号

二. 与Matrix，数组转换

csv文件的数据是N行一列，将它读取到程序保存为一维数组。

df = pd.read_csv('filename.csv',header = None)
mat = df[0].T.as_matrix()
list_1 = list(mat)

三.空值处理（NaN和None）

df.fillna(0)
df.fillna({1:0,2:0.5}) #对第一列nan值赋0，第二列赋值0.5
df.fillna(method='ffill') #在列方向上以前一个值作为值赋给NaN
df.fillna(method='bfill',limit=1) #<span lang="zh-CN" style="font-family:宋体">表示用后一个数据代替</span><span lang="en-US" style="font-family:
'MV Boli'">NaN</span>
df.fillna(df.mean()) #<span lang="zh-CN" style="font-family:宋体">表示用平均数或者其他描述性统计量来代替</span><span lang="en-US" style="font-family:'MV Boli'">NaN</span>

四. 合并

横着，并排，以行为单位

result = pd.concat([df1, df4], axis=1)
result = pd.concat([df1, df4], axis=1, join='inner')
result = pd.concat([df1, df4], axis=1, join_axes=[df1.index])