关于类似EXCEL文档存储方式的读书心得

近几天在网上查阅了一些关于EXCEL文档的存储格式的文章,总结出该类文档存储的组织方式,对于文件内的流(如Workboot,sheet)等的存储格式(BIFF格式)还在研究中,现仅将该类文档的流组织心得贴出来.请大家探讨一下:

复合文档（Compound Document）存储的数据结构

一、文件存储结构

该文件存储组织方式是：起始有512字节的文件头，然后是固定长度的n个扇区。

文件头 扇区(SID=0) 扇区(SID=1) 扇区(SID=2) 扇区(SID=3)………扇区(SID=n-1) 扇区(SID=n)

文件头包含了一些重要的信息，如扇区大小、扇区分配等等信息。因此该文件的长度总是512+扇区*扇区大小。

二、文件头结构(总长度=512字节)

public struct CD_Header

{

/// <summary>

/// 8字节,存储复合文档文件标识：D0H CFH 11H E0H A1H B1H 1AH E1H

/// </summary>

public long CD_Flag;

/// <summary>

/// 8字节,此文件的唯一标识(不重要, 可全部为0)

/// 同FileID2一起使用

/// </summary>

public long FileID;

/// <summary>

/// 8字节,此文件的唯一标识(不重要, 可全部为0)

/// 同FileID一起使用

/// </summary>

public long FileID2;

/// <summary>

/// 2字节,文件格式修订号 (一般为003EH)

/// </summary>

public short MinorVersion;

/// <summary>

/// 2字节,文件格式版本号(一般为0003H)

/// </summary>

public short MajorVersion;

/// <summary>

/// 2字节,字节顺序规则标识：FEH FFH = Little-Endian,FFH FEH = Big-Endian

/// </summary>

public short ByteOrder;

/// <summary>

/// 2字节,复合文档中扇区(sector)的大小(ssz)，以2的幂形式存储, sector实际大小为s_size

/// = 2^ssz 字节(一般为9即512字节, 最小值为7即128字节)

/// </summary>

public short SectorSize;

/// <summary>

/// 2字节,short-sector的大小，以2的幂形式存储, short-sector实际大

/// 小为s_s_size = 2^sssz 字节(一般为6即64字节，最大为sector的大小)

/// </summary>

public short ShortSectorSize;

/// <summary>

/// 以下10字节未使用，设为0

/// Not used

/// </summary>

public short NotUsed1;

/// <summary>

/// Not used

/// </summary>

public short NotUsed2;

/// <summary>

/// Not used

/// </summary>

public short NotUsed3;

/// <summary>

/// Not used

/// </summary>

public short NotUsed4;

/// <summary>

/// Not used

/// </summary>

public short NotUsed5;

/// <summary>

/// 4字节 用于存放扇区配置表（SAT:sector allocation table）的sector总数

/// </summary>

public int SAT_SectorCount;

/// <summary>

/// 4字节,用于存放目录流的第一个sector的SID

/// </summary>

public int DirStreamFisrtSectorID;

/// <summary>

/// Not used

/// 4字节

/// </summary>

public int NotUsed6;

/// <summary>

/// 4字节,标准流的最小大小(一般为4096 bytes), 小于此值的流即为短流

/// </summary>

public int StandStreamSize;

/// <summary>

/// 4字节,用于存放短扇区配置表（SSAT）的第一个sector的SID ,

/// 或为–2 (End Of Chain SID)如不存在

/// 其SID链从SAT表中获取

/// </summary>

public int SSAT_FirstSectorID;

/// <summary>

/// 4字节,用于存放短扇区配置表（SSAT）的sector总数

/// </summary>

public int SSAT_SectorCount;

/// <summary>

/// 4字节,用于存放主扇区配置表（MSAT）的第一个sector的SID

/// 或为–2 (End Of Chain SID) 若无附加的sectors

/// 因为在头中已存在109个存储SAT表的SID,因此该字段可能为-2,

/// 除非SAT表的数量大于109个

/// </summary>

public int MSAT_FirstSectorID;

/// <summary>

/// 4字节,用于存放主扇区配置表（MSAT）的sector总数

/// 如果MSAT_FirstSectorID=-2则该字段为0

/// </summary>

public int MSAT_SectorCount;

/// <summary>

/// 109*4字节(436字节),存储扇区配置表（MSAT）的sector ID

/// </summary>

[MarshalAs(UnmanagedType.SafeArray, SizeConst = 436,

SafeArraySubType = VarEnum.VT_INT)]

public int[] SAT_SectorID;

}

三、数据存储的组织方式

该文件的所有数据都存储在一系列的扇区内，而存储使用到的扇区可以是不连续的，使用到的扇区通过SAT（扇区配置表，sector allocation table）查找SID链，扇区配置表也存储在指定的扇区中，它的SID通过主扇区配置表(MSAT：master sector allocation table)表查找，文件头中就存储部份MSAT的内容，如果SAT的个数大于109个，则其它SAT的SID则要通过文件头中的MSAT_FirstSectorID字段来查找MSAT表而获得。

主扇区配置表(MSAT)：存储了一系列存有扇区配置表（SAT）的扇区ID，该表以4字节为分段，每分段存储了一个SID，而该SID指向的扇区存储有一个扇区配置表（SAT），该表的前面109个分段存储在文件头中的SAT_SectorID数组中。如果SAT表的个数超过了109个，则在文件头中MSAT_FirstSectorID存储有指向MSAT表的扇区ID，该表可存的SAT表的个数=(扇区大小/4)-1,最后一个分段用于存储下一个MSAT表的SID，可用-2指示结束。

扇区配置表（SAT）：一个扇区配置表可以存储的SID个数=扇区大小/4，存储的SID是指向下一个扇区的ID，多个SAT表组成全局SAT表，即一个SID数组，数组的索引代表了当前的SID，而其内容则指向下一个SID，这样就组成了一个SID链，该链中SID所引用的扇区组成一个存储流来存储数据内容。

SID的值=–1　 Free SID 空闲sector，可存在于文件中，但不是任何流的组成部分

–2　 End Of Chain SID　　　SID链的结束标记

–3　 SAT SID　　　　　　　　此Sector用于存放扇区配置表（SAT）

–4　 MSAT SID　　　　　此Sector用于存放主扇区配置表（MSAT）

>=0 SID 此扇区的索引

四、扇区配置表及其SID链的构造

1、扇区配置表(SAT)的SID链

从文件头中的SAT_SectorID数组中依序加载SID，当碰到Free SID时停止加载，如果加载结果等于109,则转到MSAT_FirstSectorID(SID)指向的扇区(如果该SID>=0)以4字节为一个SID分段继续加载，同样以碰到Free SID时停止加载,对于最后一个分段判断其是否为End Of Chain SID,如果是则停止加载，否则转到该SID继续加载。其具体流程祥见扇区配置表的SID链获取流程图.

2、扇区配置表(SAT)

由(1)中获取的SID链所引用的扇区中存储的内容就是扇区配置表(SAT),该表存储了一系列的SID链，这些SID链构成了数据存储区所使用的扇区的情况，该表以4字节为一个分段，每个分段代表一个从零开始的扇区索引（SID），而每个分段的内容则存储了另一个SID，它指明该分段代表的扇区的指向的下一个扇区的SID，用End Of Chain SID指示没有下一个扇区，用Free SID指示该分段代表的扇区未使用。整个SAT应该可以用一个SID数组来表示：SID_Array，数组的大小指明所有扇区的个数，数组的索引即是该扇区的SID，扇区的字节大小由文件头的SectorSize给出，而数组的内容含义如下：

>=0 该扇区指向的下一个扇区的SID，由此可以看出，指定一个SID，即可组成该SID所代表的所有扇区的一个SID链。

=–1　 Free SID 空闲sector，可存在于文件中，但不是任何流的组成部分

=–2　 End Of Chain SID　　　SID链的结束标记

=–3　 SAT SID　　　　　　　　此Sector用于存放扇区配置表（SAT）

=–4　 MSAT SID　　　　　此Sector用于存放主扇区配置表（MSAT）

3、扇区偏移量的计算

给定一个扇区的SID可以计算出该扇区在整个文件中的偏移量

Sector_POS(SID)=HeaderSize+SID*SectorSize。

HeaderSize：文件头的长度(512字节)。

SectorSize：扇区长度(由文件头的SectorSize给出)

五、短扇区配置表(SSAT)及短流存储区

短流存储区是这样定义的：存储所有流长度小于文件头中StandStreamSize字段的流，它的存储区域是由一个SID并从SAT表中查到的SID链所引用的扇区组成的流，然后它将该流分成ShortSectorSize大小的扇区，再由SSAT表构建每个短流的SID链。短流存储区的扇区长度由头文件中的ShortSectorSize字段给出，短流存储区的SID链是由从根目录获得的短流存储区的其始SID并查找SAT表获得的。

从文件头的字段SSAT_FirstSectorID获得起始SID，然后查询SAT表构成SSAT表的SID链，由该SID链所引用的扇区组成的流即存储了SSAT的内容，它的含义同SAT表的含义类似，只不过其中所指的SID是SSID，即短流区的扇区ID。

六、目录

目录（directory）是一种内部控制流，由一系列目录入口（directory entry）组成。每一个目录入口都指向复合文档的一个仓库或流。目录入口以其在目录流中出现的顺序被列举，一个以0开始的目录入口索引称为目录入口标识(DID: directory entry identifier)。

目录入口的位置不因其指向的仓库或流的存在与否而改变。如果一个仓库或流被删除了，其相应的目录入口就标记为空。在目录的开始有一个特殊的目录入口，叫做根仓库入口（root storage entry），其指向根仓库。

目录将每个仓库的直接成员（仓库或流）放在一个独立的红黑树（red-black tree）中。红黑树是一种树状的数据结构。

一个目录入口的大小严格地为128字节，计算其相对目录流的偏移量的公式为：dir_entry_pos(DID) = DID * 128。

目录的SID链：由文件头中的DirStreamFisrtSectorID字段获得起始SID，查询SAT表获得存储目录的SID链。由该链所引用的扇区组成存储目录的流。

目录入口结构如下：

public struct CD_DirectoryEntry

{

/// <summary>

/// 64字节　　此入口的名字（字符数组）, 一般为16位的Unicode字符,

/// 以0结束。(因此最大长度为31个字符)

/// </summary>

[MarshalAs(UnmanagedType.ByValTStr, SizeConst = 64)]

public string DirectoryName;

/// <summary>

/// 2字节　　用于存放名字的区域的大小，包括结尾的0

/// </summary>

public short DirectoryNameSize;

/// <summary>

/// 1字节 入口类型:

/// 00H = Empty　　　

/// 01H = User storage

/// 02H = User stream

/// 03H = LockBytes (unknown)　　　

/// 04H = Property (unknown)　　　　

/// 05H = Root storage

/// </summary>

public byte DirectoryEntryType;

/// <summary>

/// 1字节　　此入口的节点颜色: 00H = Red　　01H = Black

/// </summary>

public byte RBT;

/// <summary>

/// 4字节 其左节点的DID (若此入口为一个user storage or stream)　　

/// 若没有左节点就为－1。

/// </summary>

public int LeftDID;

/// <summary>

/// 4字节 其右节点的DID (若此入口为一个user storage or stream)，　　

/// 若没有右节点就为－1。

/// </summary>

public int RightDID;

/// <summary>

/// 4字节　其成员红黑树的根节点的DID (若此入口为storage), 其他为－1。

/// </summary>

public int RootDID;

/// <summary>

/// 16字节 组成唯一标识符（若为storage）(不重要, 可能全为0)

/// </summary>

public Guid StorageID;

/// <summary>

/// 4字节　用户标记(不重要, 可能全为0)

/// </summary>

public int UserFlag;

/// <summary>

/// 8字节　　创建此入口的时间标记。大多数情况都不写

/// </summary>

public DateTime CreateTime;

/// <summary>

/// 8字节　 最后修改此入口的时间标记。大多数情况都不写

/// </summary>

public DateTime LastChangedTime;

/// <summary>

/// 4字节　若此为流的入口，指定流的第一个sector或short-sector的SID,

/// 若此为根仓库入口，指定短流存放流的第一个sector的SID,其他情况，为0

/// </summary>

public int FirstStreamSID;

/// <summary>

/// 4字节　若此为流的入口，指定流的大小（字节）

/// 若此为根仓库入口，指定短流存放流的大小（字节）其他情况，为0。

/// </summary>

public int StreamLength;

/// <summary>

/// 4字节　Not used

/// </summary>

public int NotUsed;

}

第一个目录入口（DID=0）是根入口，该入口RootDID指明了目录入口，根据RootDID计算出其在目录流中的偏移量后取取该目录，再由LeftDID或RightDID取出左右目录(如果不为-1的话)，依此循环取得所有目录