Spark中standalone模式的HA（了解，知道怎么配置即可）

1.官网

　　


2.具体的配置

　　


3.配置方式一（不是太理想）

　　方式一：Single-Node Recovery with Local File System
　　　　类似于Hadoop1中的SecondaryNameNode

　　　　当出现单点故障的时候，需要手动启动master，然后master会读刚刚断掉之前的日志，类似于secondarynamenode方式。

　　做法：
　　　　1. 修改conf/sparn-env.sh配置文件，打开conf/sparn-env.sh
　　　　2. 给参数SPARK_DAEMON_JAVA_OPTS添加配置参数
　　　　　　SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/tmp/xxxx"

　　


4.配置方式二（比较给力）

　　方式二：Standby Masters with ZooKeeper
　　　　类似于Hadoop2中的NameNode的HA机制，因此会自动转移

　　做法：
　　　　1. 修改conf/sparn-env.sh配置文件
　　　　2. 给参数SPARK_DAEMON_JAVA_OPTS添加配置参数
　　　　SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop-senior01:2181,hadoop-senior02:2181,hadoop-senior03:2181 -Dspark.deploy.zookeeper.dir=/spark"