第12课 ：Spark Streaming源码解读之Executor容错安全性

第12课 ：Spark Streaming源码解读之Executor容错安全性

/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20：00YY频道现场授课频道68917580*/

1、从数据安全的角度考虑，Spark Streaming不断的接收数据，不断的生成job，不断的提交job，数据的安全性是至关重要问题。

2、Spark Streaming基于spark core，运行的过程中，借助spark core的rdd自动恢复。

因此首先保证数据的安全容错。数据层面的安全容错之上，计算、调度层面的安全容错主要是spark core实现的容错，天然就是安全容错的。

数据的2种安全容错方式，没有第三种方式了。

1、支持副本 借助blockmanager做备份 storgelever。disk and memory 2

2、支持重放--反复读取数据，例如过去10秒的数据。

tips：听spark streaming吃力唯一的问题是对spark core 掌握不够，内功不够。spark core 真的最重要的！！无为而无所不为！

@DeveloperApi
class StorageLevel private(
private var _useDisk: Boolean,
private var _useMemory: Boolean,
private var _useOffHeap: Boolean,
private var _deserialized: Boolean,
private var _replication: Int = 1)
extends Externalizable

StorageLevel