大数据IMF传奇行动绝密课程第12课:HA下的Spark集群工作原理解密
2016-08-11 22:23
489 查看
HA下的Spark集群工作原理解密
Zookeeper中包含的内容有哪些:所有的Worker Driver Application下载Zookeeper
环境变量:
export ZOOKEEPER_HOME=
加入PATH
解压并创建logs/ 和data/
cp conf/zoo_sample.cfg conf/zoo.cfg vi conf/zoo.cfg #加入/修改以下内容 dataDir=/home/hadoop/zookeeper-3.4.6/data dataLogDir=/home/hadoop/zookeeper-3.4.6/logs server.0=Master:2888:3888 server.1=Worker1:2888:3888 server.2=Worker2:2888:3888
cd data/ echo 0 > myid #拷贝到其他机器 scp -r zookeeper-3.4.6 hadoop@Worker1:/home/hadoop/ scp -r zookeeper-3.4.6 hadoop@Worker2:/home/hadoop/ #修改Worker1和Worker2的myid
启动:
bin/zkServer.sh start #spark支持zookeeper cd $SPARK_HOME/conf vi spark-env.sh 注释掉#SPARK_MASTER_ID并加入以下内容: SPARK_DAEMON_JAVA_OPT="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.u rl=Master:2181,Worker1:2181,Worker2:2181 -Dspark.deploy.zookeeper.dir=/spark" scp $SPARK_HOME/conf/spark-env.sh hadoop@Worker1:$SPARK_HOME/conf/ scp $SPARK_HOME/conf/spark-env.sh hadoop@Worker2:$SPARK_HOME/conf/ #启动Master上面的Spark #启动Worker1和Worker2的Spark,这时Worker1和Worker2的jps中有Master进程,并且在控制台中能看到状态为Standby
提交任务要给三台机器
./spark-shell --master spark://Master:7077,Worker1:7077,Worker2:7077
把Master的Spark停掉以后,zookeeper会重新选择新的Master,例如为Worker1,如果重新打开Master的Spark后则不会重新变为Active的。
相关文章推荐
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Spark随谈——开发指南(译)
- Spark,一种快速数据分析替代方案
- eclipse 开发 spark Streaming wordCount
- Understanding Spark Caching
- ClassNotFoundException:scala.PreDef$
- Windows 下Spark 快速搭建Spark源码阅读环境
- Spark中将对象序列化存储到hdfs
- 使用java代码提交Spark的hive sql任务,run as java application
- Spark机器学习(一) -- Machine Learning Library (MLlib)
- Spark机器学习(二) 局部向量 Local-- Data Types - MLlib
- Spark机器学习(三) Labeled point-- Data Types
- Spark初探
- Spark Streaming初探
- Spark本地开发环境搭建
- 搭建hadoop/spark集群环境
- Spark HA部署方案
- Spark HA原理架构图
- spark内存概述