资源管理(大数据):Zookeeper、 Yarn简介、原理
2018-03-16 17:23
453 查看
Zookeeper
Zookeeper是一个分布式协调服务,一个leader,多个follower组成的集群,就是为用户的分布式应用程序提供协调服务。Zookeeper是为别的分布式程序服务的。
Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等。
Yarn
Yarn目标:YARN的目标就是实现“一个集群多个框架”,即在一个集群上部署一个统一的资源调度管理框架YARN,在YARN之上可以部署其他各种计算框架。由YARN为这些计算框架提供统一的资源调度管理服务,并且能够根据各种计算框架的负载需求,调整各自占用的资源,实现集群资源共享和资源弹性收缩。
可以实现一个集群上的不同应用负载混搭,有效提高了集群的利用率。
不同计算框架可以共享底层存储,避免了数据集跨集群移动。
组成:
Resource Manager:
是一个全局的资源管理器,负责整个系统的资源管理和分配,主要包括两个组件,即调度器(Scheduler)和应用程序管理器(Applications Manager)。调度器接收AM应用资源请求,并把动态资源以容器(Container)分配。
AManager负责应用管理工作,主要包括应用程序提交、与调度器协商资源以启动AMaster、监控AMaster运行状态、并在失败时重新启动。
(1) 处理客户端请求。
(2) 启动/监控ApplicationMaster。
(3) 监控NodeManager。
(4) 资源分配与调度。
备注: ApplicationMaster,可为应用程序申请资源,并分配给内存服务;任务调度、监控与容错。
NodeManager:
(1)单个节点上的资源管理。
(2)处理Application Master或ResourceManager的命令。
备注:容器生命周期管理、监控每个容器的资源(CPU、内存等)使用情况、以心跳的形式与ResourceManager保持通信。
相关文章推荐
- 企业级Hadoop 2.x入门系列之四HDFS文件系统和YARN资源管理框架简介
- ZooKeeper教程资源收集(简介/原理/示例/解决方案)
- zookeeper简介 和 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
- 2 weekend110的zookeeper的原理、特性、数据模型、节点、角色、顺序号、读写机制、保证、API接口、ACL、选举、 + 应用场景:统一命名服务、配置管理、集群管理、共享锁、队列管理
- 大数据教程(3.8):zookeeper的java客户端API简介及监听原理
- hadoop资源管理框架yarn运行原理
- Yarn三、YARN 资源管理与调度、参数配置
- 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
- 大数据技术Hadoop入门理论系列之三--MapReduce框架原理简介
- 大数据简介、MapReduce和Zookeeper
- 文件管理原理简介
- zookeeper集群之java程序异步方式实现对数据节点的增,删,改,查及其权限管理(三)
- 分析资源管理系统的演变: 从Mesos,YARN再到Google Omega
- 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
- Yarn资源管理中的哲学
- Yarn多用户资源管理–Fair Scheduler介绍与配置
- 分布式服务框架 Zookeeper -- 管理分布式环境中的数据
- Hadoop Yarn多用户资源管理–Fair Scheduler介绍与配置
- Hadoop-YARN(资源管理系统)
- 分布式服务框架 Zookeeper -- 管理分布式环境中的数据