Spark Streaming学习笔记

Spark Streaming是构建在Spark基础上的一个实时数据流处理框架。能够对流式数据进行可扩展的、高吞吐的、高容错的实时处理。

批生成间隔（batch interval）

数据采集确是实时的、逐条进行的，而处理数据的单位是一批，因此需要确定一个时间间隔。系统对这个间隔内获得的数据统一操作，称为批生成时间间隔，决定了作业提交的频率，是系统调优的重要参数。

Dstream（Discretized Stream）

Spark Streaming的一个基本数据抽象，以离散化、有序的RDDs的形式描述了连续的数据流，内部维护了一组离散的以时间为键的RDD。

窗口长度（Window Length）

窗口是一个时间概念，抽象地描述了Spark Streaming对DStream进行监控与处理的范围与粒度，可以对一定时间范围内的数据进行统计和分析。

滑动时间间隔（Sliding Interval）

指明了Spark Streaming对数据统计与分析的频率。

cache与persist

可将DStream缓存在内存中；与窗口、状态相关的操作，默认将数据保存在内存中

reduceByWindow、reduceByKeyAndWindow、updateStateByKey

checkpoint的作用

Spark Streaming应用程序对数据流进行实时连续的计算，需具备很强的容错性，保存了相应的信息到存储系统，在JVM崩溃等故障时，用以从故障中恢复。

启用checkpoint的场景

业务逻辑中含有有状态转换操作

有状态模式：当前计算依赖于先前批次数据

从运行应用程序的driver的故障中恢复

元数据checkpoint用于使用进度信息进行恢复