Hadoop系列-YARN RM HA 高可用集群
2016-10-23 20:43
531 查看
ResourceManager HA集群
修改 yarn-site.xml
yarn-site.xml分发到其他节点
scpyarn-site.xmlhadoop@hadoop-cluster-02:/opt/app/hadoop-2.5.0
/etc/hadoop
scpyarn-site.xml
hadoop@hadoop-cluster-03:/opt/app/hadoop-2.5.0
/etc/hadoop
自动故障转移
RescouceManager有内嵌的一个基于ZooKeeper的ActiveStandbyElector去决定哪个RM应该是Active,当ActiveRM宕机,另外一个RM将会自动备选举为Active,然后接手工作,并且这里不像HDFSHA,我们需要启动一个ZKFC的守护进程,因为内嵌的ActiveStandbyElector已经替代ZKFC,进行失败检测,和选举。
测试
我们发现:如果谁是ActiveRM,那么你访问另外的RM web http地址,那么会重定向到当前ActiveRM web http地址。如果,当前ActiveRM 进程杀掉的话,StandbyRM不重定向,说明它生效了。
访问http://hadoop-cluster-03:8088/
相关文章推荐
- Hadoop学习六:YARN的RM做HA
- Hadoop系列-HDFS HA高可用集群
- hadoop系列文档4-配置Yarn高可用HA
- Hadoop HA QJM 与RM的自动容灾 以及hbase与Hadoop HA的 配置ha后hive修改
- 基于hadoop2.7.3搭建多机环境(YARN+HA)
- 国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程
- hadoop系列文档3-配置Hdfs高可用HA
- 研磨Hadoop源码(二)-yarn-ClientToAMTokenSecretManagerInRM
- Hadoop YARN配置参数剖析(1)—RM与NM相关参数
- 【Hadoop系列第四章】YARN应用场景、原理和资源调度
- 国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn的教程(1)
- 研磨Hadoop源码(三)-yarn-RMContainerTokenSecretManager
- hadoop2.7.3+HA+YARN+zookeeper高可用集群部署
- Hadoop YARN配置参数剖析(1)—RM与NM相关参数
- Hadoop HA高可用集群原理和搭建
- 详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程
- Hadoop HA高可用集群环境搭建(CenOS7)
- Hadoop2.6集群环境搭建(HDFS HA+YARN)原来4G内存也能任性一次.
- 国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn的教程(2)
- 国内第一篇详细讲解Hadoop2的automatic HA+Federation+Yarn配置的教程