Spark Streaming揭秘 Day32 WAL框架及实现
2016-07-10 20:39
197 查看
Spark Streaming揭秘 Day32
WAL框架及实现
今天会聚焦于SparkStreaming中非常重要的数据安全机制WAL(预写日志)。设计要点
从本质点说,WAL框架是一个存储系统,可以简单的认为是一个文件系统,其作用类似于BlockManager,我们首先看一下官方的说明:
![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_53.png)
这里有三个要点:
总体上,sparksteaming是用WAL去保存接收到的数据,并且在写入数据后,要把元数据汇报给Driver,这样失败了才能恢复起来。
每当写入一个log,就返回一个handle,handle包含所有的从写入后的记录中恢复回原来数据的所有信息,和blockManager是一样的,使用时间来索引record,所以在sparkstreaming,WAL是顺序读写的。这个时间也方便我们进行清理(会有一个自己的超时时间)。具体的子类,必须确保数据是可持久化和可读取的。
为什么选择顺序写,是因为在数据备份的时候,效率会比较高。当读的时候,采用一块一块的读,而不是一条一条的读,找数据的时候,需要找到起始点,并结合数据长度来批量读取,而不是读一条,找一条。可以极大的节省读取的时间。
总体结构
WriteAheadLog作为一个抽象类,主要提供一些操作的方法,并没有说明如何对数据本身如何进行操作。因为具体的操作往往会涉及底层的存储系统。这种写法,可以使客户端依赖于抽象,而不是依赖于具体,既方便使用者,也方便开发者。最为关键的是下面三个方法:![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_54.png)
write方法,输入一个ByteBuffer,ByteBuffer只是个很简单的java类,里面封装了一个字节数组。
read方法,基于handle,读取我们要读取的记录。
clean方法,threshTime是一个阀值,在之前的数据会被清理掉。
那handle里是啥呢,其实非常简单,WriteAheadLogRecordHandle也是抽象的。具体实现在FileBasedWriteAheadLogSegment:
![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_55.png)
这是个case class,只是保存了三个信息,数据文件路径、位置以及数据长度。
WriteAheadLog实现
FileBasedWriteAheadLog是WriteAheadLog一般情况下的实现。让我们看下说明,在管理WAL文件时,会把数据周期性的写入日志文件中。当失败时,会从文件中恢复数据。
这里的关键是rolling的管理方式,这是写数据的一种特征,写log的时候,每隔一段时间,就把已经在写的文件关闭掉,再产生新的文件保存新的数据。这种方式的好处是:
写的文件,单个文件不会太大。
删除数据比较方便。
![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_56.png)
currentLogWriter是WAL中的关键,专门来写数据到log file中,一个文件会对应一个writer,产生新的文件就会有新的writer。实际存数据时是放在checkpoint Directory下的。
![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_57.png)
write方法,是写入数据到hadoop支持的文件系统中,并且会确保数据已经到了文件系统中。其中会根据时间获取writer来写入数据。
![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_58.png)
其中,getLogWriter放大,会根据时间,生成writer,从代码看,会按照时间分段来生成新文件。这是实现rolling方式的关键。
![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_59.png)
read方法,根据file segment来读数据,所以实际读数据时是一批一批读的。
![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_60.png)
intitializeOrRecover方法也是关键,在启动时调用,会根据文件信息恢复pastLogs,也就是说在记录log文件时,文件是自解释的,包含开始时间、结束时间和路径。
![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_61.png)
Writer和Reader实现
FileBasedWriteAheadLogWriter负责将数据写入日志文件中。![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_62.png)
每次把数据写完的时候,都会记录offset和length。flush会调用文件系统的方法,优先使用hflush方法,否则使用sync方法。
FileBasedWriteAheadLogRandomReader是reader的默认实现,会根据给定handle返回block。
![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_63.png)
首先会使用seek方法跳到索引位置,此后采用原生字节操作进行读取,同时会加锁,返回时用HeapByteBuffer封装起来。
除了random的方式,还有一种顺序读的方式FileBasedWriteAheadLogReader,采用了迭代器来封装,数据在hasNext中产生,next方法只是读取结果。
WAL触发机制
那么,WAL机制在SparkStreaming框架中是如何触发的呢?首先,在接收数据后,会判断是不是要进行WAL操作。
![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_64.png)
在构造时,createLog方法默认情况,就是创建了FileBasedWriteAheadLog,需要注意的是在WAL方式下数据副本只能有一个。
![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_65.png)
storeBlock方法中实际触发操作,这里构建了一个future(和blockManager是并行执行),将数据写入WAL,在执行后会返回了handle并进行登记。
![](http://o6jujlzry.bkt.clouddn.com/2016-07-10-Snip20160710_67.png)
总结的来说,WAL比普通的文件操作,增加了时间的维度和索引位置两个因素,两个加起来形成了WAL框架。
欲知后事如何,且听下回分解!
DT大数据每天晚上20:00YY频道现场授课频道68917580相关文章推荐
- Android自定义View——仿ViVO X6 极速闪充动画效果
- 私人定制 博客地图 浏览次数 以及评论体系
- orcle 按年度 月度 汇总
- iOS中自定义输入文本框的cell(UITextFieldCell)的使用技巧
- Hdu 5326 Work(超水的树形DP)
- 1702 素数判定 2
- Python开发【第四篇】:Python基础之函数
- PS学习地址
- 实现 fizzBuzz 函数,参数 num 与返回值的关系如下: 1、如果 num 能同时被 3 和 5 整除,返回字符串 fizzbuzz 2、如果 num 能被 3 整除,返回字符串 fizz 3
- 前景检测算法(十五)--LOBSTER算法
- Sqoop源码浅析
- 接口测试完整解决方案(持续更新)
- Codility-BinaryGap
- Java-PipedOutputStream和PipedInputStream类
- Axure之手机屏保滑动效果的实现
- Hdu 5325 Crazy Bobo (拓扑排序)
- 项目30.1字符串处理函数
- uva 1619 - Feel Good || poj 2796 单调栈
- Unity3D The Blacksmith Demo部分内容学习
- 【回家之感】