Spark Streaming揭秘 Day10 从BlockGenerator看接收数据的生命周期

Spark Streaming揭秘 Day10

从BlockGenerator看接收数据的生命周期

昨天主要介绍了SparkStreaming中对于Receiver的生命周期管理，下面让我们进入到Receiver内部，研究下其工作机制。

首先，先总结下SparkStreaming中接收数据的特点：

数据需要不间断的按照次序接收

由于在driver中需要保存元数据，在存储数据之后，需要不断汇报给driver

让我们进入接收数据关键的BlockGenerator进行分析。

Block概念

Block是Spark中非常重要的概念，在receiver接收数据过程中也非常的重要。简单来说，Receiver(以Kafka为例)是一条一条接收数据的，但是出于效率考虑，需要合并为block供后续处理。其操作主要分为三步。

Step1:数据接收

会统一将数据放入currentBuffer中，需要注意如果这个时候数据丢失了，就真的丢失了。



BlockGenerator中最为关键的是两个线程：



线程1. blockIntervalTimer把数据合并为block

线程2. blockPushingThread把合并后的block通过BlockManager来存储

Step2:Block生成

blockIntervalTimer以一个固定间隔生成block(默认200ms)从currentBuffer生成Block，放入blocksForPushing。

Step3:Block存储

blockPushingThread每10ms从blocksForPushing中获取数据，并调用pushBlock进行后续处理。



对pushBlock的调用，我们可以跟踪到如下关键代码：

可以看到主要有两项工作，一是进行数据存储，二是向Driver进行汇报！！！



让我们进入存储部分的代码，发现其最终是调用的Spark的BlockManager来进行实际数据的存储。

其他

从ReceiverSupervisor定义的事件中，我们可以发现还有两个比较重要的方法。



cleanupOldBlocks，在每个batch处理完，会根据Driver发送的信息将旧的block清理掉，这也是程序能7*24小时持续运行的保证！！！

updateRateLimit，可以动态调整消息接收的速度，实际上，是通过限定存储的速度，来限定流动的速度。

最后，最重要的：

从架构角度，我们可以把数据接收模块理解为一个mvc架构。

model是Receiver，在底层负责数据的获取。

controller是ReceiverSupervisor，主要负责对Receiver的控制，receiver收到数据后，交给ReceiverSupervisor存储数据。

view是Driver，其利用元数据对外提供服务，并在需要时通过ReceiverSupervisor调用Receiver获取数据。

欲知后事如何，且听下回分解

DT大数据每天晚上20：00YY频道现场授课频道68917580