《利用python进行数据分析》读书笔记--第十章 时间序列（一）

#-*-coding:utf-8-*-
importnumpyasnp
importpandasaspd
importmatplotlib.pyplotasplt
importdatetimeasdt
frompandasimportSeries,DataFrame
fromdatetimeimportdatetime
fromdateutil.parserimportparse

dates=[datetime(2011,1,2),datetime(2011,1,5),datetime(2011,1,7),
datetime(2011,1,8),datetime(2011,1,10),datetime(2011,1,12)]
#printdates
ts=Series(np.random.randn(6),index=dates)
printts,'\n'
#这些datetime对象实际上是被放在一个DatetimeIndex中的。现在，变量ts就成为了TimeSeries了。
printtype(ts)
printts.index,'\n'
#没必要显示使用TimeSeries的构造函数。当创建一个带有DatetimeIndex的Series时，pandas就会知道该对象是一个时间序列
printts+ts[::2]
#pandas用NumPy的datetime64数据类型以纳秒形式存储时间戳：
printts.index.dtype
#DatetimeIndex中的各个标量值是pandas的Timestamp
stamp=ts.index[0]
printstamp

#只要有需要，TimeStamp可以随时自动转换为datetime对象。此外，还可以存储频率信息，且知道如何执行时区转换以及其他操作

>>>

2011-01-02-1.267108
2011-01-05-0.450098
2011-01-070.784850
2011-01-080.024722
2011-01-100.638663
2011-01-120.246022

stamp=ts.index[2]
printts[stamp],'\n'
#还有更方便的用法，传入可以被解释为日期的字符串
printts['1/10/2011']
printts['20110110'],'\n'
#对于较长的时间序列，只需传入“年”或“年月”即可轻松选取数据切片
long_ts=Series(np.random.randn(1000),
index=pd.date_range('1/1/2000',periods=1000))
#-*-coding:utf-8-*-
importnumpyasnp
importpandasaspd
importmatplotlib.pyplotasplt
importdatetimeasdt
frompandasimportSeries,DataFrame
fromdatetimeimportdatetime
fromdateutil.parserimportparse
importtime

printlong_ts,'\n'
printlong_ts['2001'],'\n'
printlong_ts['2001-05'],'\n'
#通过日期进行切片的方式只对规则Series有效：
printts[datetime(2011,1,7):],'\n'
#由于大部分时间序列数据都是按照时间先后排序的，因此你可以用不存在于该时间序列中的时间戳对其进行切片（即范围查询）
#就是说，本来1/6/2011不在index中，却可以用来当作范围
printts['1/6/2011':'1/11/2011'],'\n'#这里可以传入字符串日期、datetime或者Timestamp

print'Thisistimeandlocaltime'
print"time.time():%f"%time.time()
printtime.localtime(time.time())
printtime.asctime(time.localtime(time.time()))
ltime=time.localtime(int(time.time()))#time.time()不能直接运用strftime进行转换
printtime.strftime("%Y-%m-%d%H:%M:%S",ltime)
#timeasctime()函数接受时间元组并返回一个可读的形式为"TueDec1118:07:142008"
print'over','\n'

#还有一个等价方法截取两个日期之间的TimeSeries.
printts.truncate(after='1/9/2011'),'\n'

#上面这些对DataFrame也有效
dates=pd.date_range('1/1/2000',periods=100,freq='W-WED')#这里的freq是按照星期进行增加
long_df=DataFrame(np.random.randn(100,4),index=dates,columns=['Colorado','Texas','NewYork','Ohio'])
printlong_df.ix['2001-05']

>>>

0.0751316698811

-0.622706612554
-0.622706612554

#-*-coding:utf-8-*-
importnumpyasnp
importpandasaspd
importmatplotlib.pyplotasplt
importdatetimeasdt
frompandasimportSeries,DataFrame
fromdatetimeimportdatetime
fromdateutil.parserimportparse
importtime

#注意下面的DatetimeIndex生成方式
dates=pd.DatetimeIndex(['1/1/2000','1/2/2000','1/2/2000','1/2/2000','1/3/2000'])
dup_ts=Series(np.arange(5),index=dates)
printdup_ts,'\n'
#通过检唯一的测is_unique属性，我们就可以知道它不是
printdup_ts.index.is_unique,'\n'
#此时若索引，得到的可能是标量值，也可能是切片
printdup_ts['1/2/2000'],'\n'
printdup_ts['1/3/2000']
#假如你想要对具有非
#唯一时间戳的数据进行聚合一个办法是使用groupby，并传入level=0
grouped=dup_ts.groupby(level=0)
printgrouped.mean(),'\n'
printgrouped.count()

>>>

2000-01-010
2000-01-021
2000-01-022
2000-01-023
2000-01-034

#定义列表
dates=[datetime(2011,1,2),datetime(2011,1,5),datetime(2011,1,7),
datetime(2011,1,8),datetime(2011,1,10),datetime(2011,1,12)]
#printdates
ts=Series(np.random.randn(6),index=dates)
#printts
#下面进行重采样，得到具有固定时间频率（每天）的时间序列，当让这样的话就会产生缺失值
printts.resample('D')#-*-coding:utf-8-*-
importnumpyasnp
importpandasaspd
importmatplotlib.pyplotasplt
importdatetimeasdt
frompandasimportSeries,DataFrame
fromdatetimeimportdatetime
fromdateutil.parserimportparse
importtime

#定义列表
dates=[datetime(2011,1,2),datetime(2011,1,5),datetime(2011,1,7),
datetime(2011,1,8),datetime(2011,1,10),datetime(2011,1,12)]
#printdates
ts=Series(np.random.randn(6),index=dates)
#printts
#下面进行重采样，得到具有固定时间频率（每天）的时间序列，当让这样的话就会产生缺失值
printts.resample('D')#频率的转换（或重采样）主题较大，后面再说

>>>

2011-01-02-0.956627
2011-01-03NaN
2011-01-04NaN
2011-01-050.130565
2011-01-06NaN
2011-01-070.090270
2011-01-080.753881
2011-01-09NaN
2011-01-10-0.733514
2011-01-11NaN
2011-01-12-0.200039
Freq:D
[Finishedin1.2s]

#-*-coding:utf-8-*-
importnumpyasnp
importpandasaspd
importmatplotlib.pyplotasplt
importdatetimeasdt
frompandasimportSeries,DataFrame
fromdatetimeimportdatetime
fromdateutil.parserimportparse
importtime

#pandas.date_range会生成指定长度的DatetimeIndex
index=pd.date_range('4/1/2015','6/1/2015')
printindex,'\n'
#默认情况下，date_range产生按天计算的时间点，当然可以传入开始或结束日期，还得传入一个表示一段时间的数字
printpd.date_range('1/1/2016',periods=31),'\n'
#开始和结束定义了日期索引的严格边界，如果你想要生成一个由每月最后一个工作日组成的日期索引，可以传入‘BM’（businessendofmonth）
#这样就只会包含时间间隔内（或者放好在时间边界上）符合频率要求的日期：
printpd.date_range('12/18/2015','1/1/2016',freq='BM'),'\n'
#date_range默认保留起始和结束时间戳信息
printpd.date_range('5/2/201512:12:12',periods=5)
#有时，虽然起始和结束带有时间信息，但是可以用normalize=True把它们吧变为00:00:00
printpd.date_range('5/2/201512:12:12',periods=5,normalize=True)

>>>

<class'pandas.tseries.index.DatetimeIndex'>
[2015-04-0100:00:00,...,2015-06-0100:00:00]
Length:62,Freq:D,Timezone:None

#-*-coding:utf-8-*-
importnumpyasnp
importpandasaspd
importmatplotlib.pyplotasplt
importdatetimeasdt
frompandasimportSeries,DataFrame
fromdatetimeimportdatetime
fromdateutil.parserimportparse
importtime
frompandas.tseries.offsetsimportHour,Minute

#pandas中的频率是由一个基础频率和一个乘数组成的。基础的频率由字符串表示，比如‘M’表示月，‘H’表示小时
#对于每个基础频率，都有一个被称为日期偏移量（dateoffset）的对象与之对应。
hour=Hour()
printhour#感觉这个形式比较霸气
#传入整数可以自定义偏移量倍数
four_hours=Hour(4)
printfour_hours
#一般而言，并不需要显示创建偏移量，只需创建时间序列时传入'H'或者'4h'即可
printpd.date_range('1/1/2016','1/2/2016',freq='4h'),'\n'
#偏移量可以拼接
printHour(1)+Minute(30)
#传入频率字符串（'2h30min'）,这种字符串可以被高效地解析为等效的表达式
printpd.date_range('1/1/2016',periods=10,freq='1h30min'),'\n'
#有些频率所描述的时间点并不是均匀分隔的。例如'M'和'BM'就取决于每月的天数，对于后者，还要考虑月末是不是周末，将这些成为锚点偏移量（anchoredoffset）
#WOM(WeekOfMonth)日期是一个非常常用的频率，以WOM开头，能产生诸如“每月第三个星期五”之类的信息
rng=pd.date_range('1/1/2016','9/1/2016',freq='WOM-3FRI')
printrng

>>>

<1Hour>
<4Hours>
<class'pandas.tseries.index.DatetimeIndex'>
[2016-01-0100:00:00,...,2016-01-0200:00:00]
Length:7,Freq:4H,Timezone:None

#-*-coding:utf-8-*-
importnumpyasnp
importpandasaspd
importmatplotlib.pyplotasplt
importdatetimeasdt
frompandasimportSeries,DataFrame
fromdatetimeimportdatetime
fromdateutil.parserimportparse
importtime
frompandas.tseries.offsetsimportHour,Minute

ts=Series(np.random.randn(4),index=pd.date_range('1/1/2016',periods=4,freq='M'))
printts
printts.shift(2)
printts.shift(-2),'\n'
#可以看到，shift通常用于计算一个时间序列或多个时间序列（如DataFrame列）中的百分比变化。
printts/ts.shift(1)-1
#单纯的移位操作不会修改索引，所以部分数据会被丢弃，如果频率已知，则可以将其传给shift以实现对时间戳进行位移而不是只对数据移位
printts.shift(2,freq='M')#时间戳移动，而数据不动
#当然也可以自己定义移动的频率
printts.shift(3,freq='D'),'\n'#时间的移动不是上下移动，而是将时间列的每个值进行移动
printts.shift(1,freq='3D')
printts.shift(1,freq='90T')

>>>

2016-01-310.721445
2016-02-29-0.568200
2016-03-31-0.945288
2016-04-300.198176
Freq:M
2016-01-31NaN
2016-02-29NaN
2016-03-310.721445
2016-04-30-0.568200
Freq:M
2016-01-31-0.945288
2016-02-290.198176
2016-03-31NaN
2016-04-30NaN
Freq:M

#-*-coding:utf-8-*-
importnumpyasnp
importpandasaspd
importmatplotlib.pyplotasplt
importdatetimeasdt
frompandasimportSeries,DataFrame
fromdatetimeimportdatetime
fromdateutil.parserimportparse
importtime
frompandas.tseries.offsetsimportHour,Minute,Day,MonthEnd

now=datetime(2011,11,29)
printtype(now)
printnow+Day(3),'\n'
#如果加的是锚点偏移量，第一次增量会将原日期向前滚动到符合频率规则的下一个日期
#如果本来就是锚点，那么下一个就是下一个锚点
printnow+MonthEnd(),'\n'
printnow+MonthEnd(2),'\n'
#通过锚点偏移量的rollforward和rollback方法，可显示地将日期向前或向后“滚动”
offset=MonthEnd()
printoffset.rollforward(now),'\n'
printoffset.rollback(now),'\n'
#日期偏移量还有一个巧妙的用法，即结合groupby使用这两个“滚动”方法
ts=Series(np.random.randn(20),index=pd.date_range('1/15/2000',periods=20,freq='4d'))
printts,'\n'
#注意下面的方式，很隐晦
printts.groupby(offset.rollforward).mean(),'\n'
#当然，更简单快速的方式是使用resample
printts.resample('M',how='mean')

>>>

<type'datetime.datetime'>
2011-12-0200:00:00

2011-11-3000:00:00

2011-12-3100:00:00

2011-11-3000:00:00

2011-10-3100:00:00

2000-01-15-1.234284
2000-01-19-1.078641
2000-01-23-0.727257
2000-01-27-0.943798
2000-01-310.050586
2000-02-040.019833
2000-02-08-1.407244
2000-02-12-0.446414
2000-02-16-0.521847
2000-02-200.066200
2000-02-241.604580
2000-02-28-0.714762
2000-03-031.743459
2000-03-071.675388
2000-03-110.104701
2000-03-150.124533
2000-03-19-1.113306
2000-03-23-1.442906
2000-03-27-0.489818
2000-03-310.344161
Freq:4D

2000-01-31-0.786679
2000-02-29-0.199950
2000-03-310.118276

2000-01-31-0.786679
2000-02-29-0.199950
2000-03-310.118276
Freq:M
[Finishedin0.7s]

#-*-coding:utf-8-*-
importnumpyasnp
importpandasaspd
importmatplotlib.pyplotasplt
importdatetimeasdt
frompandasimportSeries,DataFrame
fromdatetimeimportdatetime
fromdateutil.parserimportparse
importtime
frompandas.tseries.offsetsimportHour,Minute,Day,MonthEnd
importpytz

printpytz.common_timezones[-5:]
#要从pytz中获取时区对象，使用pytz.timezone即可
tz=pytz.timezone('US/Eastern')
printtz#这里的输出已经和课本上不一样，估计是进行了简化，使得更方便了

>>>

['US/Eastern','US/Hawaii','US/Mountain','US/Pacific','UTC']
US/Eastern
[Finishedin0.7s]

#-*-coding:utf-8-*-
importnumpyasnp
importpandasaspd
importmatplotlib.pyplotasplt
importdatetimeasdt
frompandasimportSeries,DataFrame
fromdatetimeimportdatetime
fromdateutil.parserimportparse
importtime
frompandas.tseries.offsetsimportHour,Minute,Day,MonthEnd
importpytz

rng=pd.date_range('3/9/20129:30',periods=6,freq='D')
ts=Series(np.random.randn(len(rng)),index=rng)
printts,'\n'
printts.index.tz,'\n'#默认的时区字段为None
#在生成日期范围的时候还可以加上一个时区集
printpd.date_range('3/9/2012',periods=10,freq='D',tz='UTC'),'\n'
#从单纯到本地化的转换是通过tz_localize方法处理的：
ts_utc=ts.tz_localize('US/Pacific')#转换为美国太平洋时间
printts_utc,'\n'
printts_utc.index,'\n'
#一旦被转换为某个特定时期，就可以用tz_convert将其转换到其他时区了
printts_utc.tz_convert('US/Eastern'),'\n'
#tz_localize和tz_convert是DatetimeIndex的实例方法，可以把一个DatetimeIndex转化为特定时区
printts.index.tz_localize('Asia/Shanghai')

>>>

2012-03-0909:30:000.079530
2012-03-1009:30:00-0.434450
2012-03-1109:30:000.360739
2012-03-1209:30:000.678065
2012-03-1309:30:00-0.705374
2012-03-1409:30:000.684572
Freq:D

#-*-coding:utf-8-*-
importnumpyasnp
importpandasaspd
importmatplotlib.pyplotasplt
importdatetimeasdt
frompandasimportSeries,DataFrame
fromdatetimeimportdatetime
fromdateutil.parserimportparse
importtime
frompandas.tseries.offsetsimportHour,Minute,Day,MonthEnd
importpytz

stamp=pd.Timestamp('2011-03-1204:00')
printtype(stamp),'\n'
stamp_utc=stamp.tz_localize('UTC')
printstamp_utc,'\n'
printstamp_utc.tz_convert('US/Eastern'),'\n'
stamp_moscow=pd.Timestamp('2011-03-1204:00',tz='Europe/Moscow')
printstamp_moscow
#时区意识型Timestamp对象在内部保存了一个UTC时间戳值（自1970年1月1日起的纳秒数），这个UTC值在时区转换过程中是不会变化的
printstamp_utc.value
printstamp_utc.tz_convert('US/Eastern').value,'\n'
#当使用pandas的DataOffset对象执行运算时，会自动关注“夏时令”…………

>>>

#-*-coding:utf-8-*-
importnumpyasnp
importpandasaspd
importmatplotlib.pyplotasplt
importdatetimeasdt
frompandasimportSeries,DataFrame
fromdatetimeimportdatetime
fromdateutil.parserimportparse
importtime
frompandas.tseries.offsetsimportHour,Minute,Day,MonthEnd
importpytz

rng=pd.date_range('3/7/2012',periods=10,freq='B')
ts=Series(np.random.randn(len(rng)),index=rng)
printts
ts1=ts[:7].tz_localize('Europe/London')
#注意naive是不能直接转换为时区的，必须先转换为localize再进行转换
ts2=ts1[2:].tz_convert('Europe/Moscow')
result=ts1+ts2
#转换为UTC
printresult.index

>>>

2012-03-07-0.591417
2012-03-081.009651
2012-03-09-1.922004
2012-03-120.246206
2012-03-130.033430
2012-03-140.614911
2012-03-151.944014
2012-03-16-2.349846
2012-03-190.425925
2012-03-201.941166
Freq:B
<class'pandas.tseries.index.DatetimeIndex'>
[2012-03-0700:00:00,...,2012-03-1500:00:00]
Length:7,Freq:B,Timezone:UTC
[Finishedin0.7s]