Spark Streaming揭秘 Day25 StreamingContext和JobScheduler启动源码详解

Spark Streaming揭秘 Day25

StreamingContext和JobScheduler启动源码详解

今天主要理一下StreamingContext的启动过程，其中最为重要的就是JobScheduler的启动。

StreamingContext启动

我们首先看下start方法的上半部分。

首先进行模式匹配，这是一个标准的条件判断，默认是INITIALIZED状态。



这里有三个关键部分：

validate方法，会进行一些前置条件的判断。其中比较关键的是对DStreamGraph进行校验，包括不能为空，outputStreams.size>0等。



启动ThreadUtils，里面都是线程本地操作，最关键的部分，就是启动JobScheduler，这个后面会展开。

启动之后，应用状态就变成active级别的了。

再看下start方法的下半部分：

shutdownHookRef注册安全退出时用到的回调，供应用中止时进行保护。

streamingSource是监控统计指标，默认提供了非常多的统计信息。

uiTab生成了界面元素，支持进行页面操作

JobScheduler启动

SparkStreaming中的事中的管理是通过消息响应来完成的，消息有两种，一种是Local自己给自己发消息，一种是RPC别人个自己发消息，对应就会有两种消息循环器。

在JobScheduler中有三个消息循环器，首先是消息循环器JobScheduler，处理调度方面的消息。在ReceiverTracker和JobGenerator内部会分别启动一个消息循环器。





而针对SparkStreaming的事后管理，比较有代表性的是rateController，在这里是基于Listenerbus来实现的。

绘图

最后，让我们深入一下各个消息循环器，用绘图的方式来总结一下。

欲知后事如何，且听下回分解!

DT大数据每天晚上20：00YY频道现场授课频道68917580