Tachyon源码结构分析（三）

发布人：南京大学PASA大数据实验室

前言

在上一篇《Tachyon源码结构分析（二）》中，我们具体分析了Common模块和Client模块的源码结构，本篇接着上一篇内容介绍Master模块的源码结构分析。

版本选择

Tachyon目前刚刚发布了新版本0.6.1，最新的开发版仍为0.7.0-SNAPSHOT。本篇我们仍然选择Tachyon-0.6.0版本保持与前两篇同步。

官方链接：Tachyon-0.6.0

Master模块

Master模块是Tachyon的核心模块，负责管理和协调Worker与Client的正常工作。Master保存了Tachyon系统的元数据信息、文件结构、日志和镜像以及所有Worker的状态信息，同时向Client提供了关于元数据的处理操作，包括创建文件、创建表格、删除文件等。Master还提供了基于重计算的丢失文件恢复机制来容错，提供了基于Zookeeper的竞争机制来保证Master节点的健壮性，提供了心跳机制来保证Tachyon系统的可靠性。总的来说，重计算、Zookeeper以及日志和镜像机制都是为了巩固Tachyon的容错性能，我们在后续章节会针对这些核心的机制进行详细的分析。
Master模块的源码包含三个部分，分别为tachyon.master、tachyon.retry、tachyon.web。这样划分的原因是tachyon.retry和tachyon.web目前都是以tachyon.master包为核心的。tachyon.master包主要实现了Master的核心机制（重计算、心跳、日志和镜像等）；tachyon.retry目前为tachyon.master包中MasterClient的连接操作所使用，实现了连接失败后的退避策略；tachyon.web目前都是使用tachyon.master来收集web显示的数据信息。下面按每个包来介绍Master模块具体是如何实现的。

tachyon.master包

tachyon.master包是Master模块的核心，实现了Master的主要功能。该包定义了文件节点的基本结构，实现了日志和镜像机制以及心跳机制，同时定义了依赖关系的具体内容，进一步实现了重计算机制。我们现在来介绍tachyon.master的源码结构。
从图1可以看出，tachyon.master的源码结构是错综复杂的，各个类之间的关系联系比较紧密。从图中可以看出，JsonObject是ImageElement和EditLogOperation的基类，抽象出日志和镜像中数据的基本存储单元。ImageElement由ImageElementType和参数组成，描述了元数据的静态结构（Version、 Checkpoint、InodeFile、 InodeFolder、RawTable和Dependency）；EditLogOperation由EditLogOperationType和参数组成，描述了元数据的动态操作（ADD_BLOCK、ADD_CHECKPOINT、CREATE_FILE、COMPLETE_FILE、SET_PINNED、RENAME、DELETE、CREATE_RAW_TABLE、UPDATE_RAW_TABLE_METADATA和CREATE_DEPENDENCY）。ImageElement是Image中的元素，EditLogOperation是EditLog中的元素，Image和EditLog一起构成Journal。ImageWriter是RawTables、Inode、Dependency和MasterInfo的基类，定义了写入镜像的基本接口，也就是说Inode、Dependency、RawTables、MasterInfo都可以将元数据写入到镜像文件。InodeFile和InodeFolder继承于Inode，分别为文件和文件夹的索引节点。文件夹的索引节点保存了子文件夹或者子文件的索引节点Id，用于构成文件的树状结构。TachyonMaster是Master节点的入口函数，调用TachyonMaster的main函数开启Master的web和数据服务。从图中我们还可以看出MasterInfo是Master节点的核心，它和Inode、MasterWorkerInfo、RawTables、Dependency、RecomputeCommand、BlockInfo、Counters等都直接相关，向Master服务模块提供大量的数据信息。



图1. tachyon.master源码结构



tachyon.retry包

我们知道当连接网络放生冲突以后，立即重连会导致依然连接冲突的概率很大。该包的功能就是定义一系列退避策略，当连接发生冲突时，退避若干个时间单位以后重新连接，使得冲突的概率最小化。目前该包只定义了一种可用的退避策略，即二进制退避策略，当第i次连接失败以后，连接被延迟0到之间随机的时间单位之后，规避依然冲突的风险。

该包包含四个类，分别为package-info、RetryPolicy、SleepingRetry、ExponentialBackoffRetry。其中RetryPolicy定义了退避策略的接口；SleepingRetry是实现了RetryPolicy接口的抽象类；ExponentialBackoffRetry继承了RetryPolicy。



tachyon.web包

Tachyon作为一个分布式内存文件系统，需要向用户提供友好的交互界面使得用户能够随时把握Tachyon当前状态和当前的文件结构。tachyon.web的作用就是为Tachyon网页显示提供必要的数据信息，保证Tachyon状态能够被实时监督。而Master作为主控制节点，它收集了所有文件的元数据信息以及所有从节点的当前状态信息，所以tachyon.web基本都是从Master节点获取实时数据，因而我们把tachyon.web划分为Master模块。（在接下来的版本中，每个Worker节点也开启了web服务，每个Worker节点从本地获取web信息，所以web也可以归为Common模块）