[python]通达信历史日线数据解析转换为CSV文件进行存储

[python]通达信历史日线数据解析转换为CSV文件进行存储

参考：http://blog.csdn.net/liuyukuan/article/details/53560278

通达信日线数据为其自有格式，无法使用excel进行读取，本文对通达信日线数据进行解析，转换为CSV格式进行存储，方便进行读取和分析。

通达信的日线数据在通达信的安装目录： vipdoc\sh\lday 和vipdoc\sz\lday下面，数据的扩展名为.day，不能使用EXCEL直接进行读取。

通达信的日线数据格式如下：

每32个字节为一天数据

每4个字节为一个字段，

每个字段内低字节在前00 ~ 03 字节：年月日,

整型04 ~ 07 字节：开盘价*100，

整型08 ~ 11 字节：最高价*100,

整型12 ~ 15 字节：最低价*100,

整型16 ~ 19 字节：收盘价*100,

整型20 ~ 23 字节：成交额（元），

float型24 ~ 27 字节：成交量（股），

整型28 ~ 31 字节：（保留）

# %% 导入包

from struct import *

import os

import pandas as pd

#

def exactStockdatatocsv(sourcedir,targetdir,stockfile):
#原始数据读取存储入缓存
srcfile = open(sourcedir + os.sep + stockfile, 'rb')
buffer = srcfile.read()
srcfile.close()
#读取的数据长度
buflengh = len(buffer) #32的整数倍
#除32获利文件中存储了多少天的信息
datenum = int(buflengh / 32)
#解析每一天的数据的内容,每一天列表的起始位置和终止位置
list_begin = 0
list_end = 32
#创建pandas股票数据表
seriesdata = pd.Series() #创建列表
stockdata = pd.DataFrame(index =range(0,datenum),
columns =['date','open','high','low','close','amount','volum'])
print(stockdata.index)
#将个股数据转换为pandas的dataFrame格式数据
for i in range(datenum):
#解析32个字节一天数据
unitdata = unpack('IIIIIfII', buffer[list_begin:list_end])
date  = unitdata[0]
opens = unitdata[1] / 100.0
high  = unitdata[2] / 100.0
low   = unitdata[3] / 100.0
close = unitdata[4] / 100.0
amount = unitdata[5] / 10.0
vol = unitdata[6]
unused = unitdata[7]
#加32指向下一天的数据列表
list_begin = list_begin + 32
list_end = list_end + 32

seriesdata = [ date, opens, high, low, close, amount, vol]
# print(unitdata)
stockdata.at[stockdata.index[i],'date'] = seriesdata[0]
stockdata.at[stockdata.index[i],'open'] = seriesdata[1]
stockdata.at[stockdata.index[i],'high'] = seriesdata[2]
stockdata.at[stockdata.index[i],'low']  = seriesdata[3]
stockdata.at[stockdata.index[i],'close'] = seriesdata[4]
stockdata.at[stockdata.index[i],'amount'] = seriesdata[5]
stockdata.at[stockdata.index[i],'volum']  = seriesdata[6]
#生成对应的文件
savefilename = stockfile[0:8]
print(savefilename)
stockdata.to_csv(targetdir + os.sep + savefilename +' .csv', encoding='gbk')
#通达信上证日线数据目录
shpathdir='D:/new_tdx/vipdoc/sh/lday'
#通达信深证日线数据目录
szpathdir='D:/new_tdx/vipdoc/sz/lday'
#通达信数据转换后存储目录
shtargetDir='shlday'
sztargetDir='szlday'

#将上证目录下的所有文件列表出来
szlistfile = os.listdir(szpathdir)
for stockfile in szlistfile:
print(stockfile)
exactStockdatatocsv(szpathdir,sztargetDir,stockfile)
#将上证目录下的所有文件列表出来
shlistfile = os.listdir(shpathdir)
for stockfile in shlistfile:
print(stockfile)
exactStockdatatocsv(shpathdir,shtargetDir,stockfile)

通过上面的代码将上证数据和深证数据都转换为CSV格式。

本代码实现与其他参考实例不同的是从文件读取数据进行解析后，生成pandas的dataFrame格式进行存储，然后生成CSV文件。本例实现了所有的数据进行解析及存储，实现中有不对的地方，请指正。