YARN/MRv2 Resource Manager深入剖析—用户交互相关模块分析
2013-10-29 11:17
302 查看
YARN分别针对普通用户,管理员和Web提供了三种对外服务,分别对应ClientRMService、AdminService和WebApp,本节将对这三个服务分别进行详细介绍。
ClientRMService是为普通用户提供的服务,它会处理来自客户端各种RPC请求,比如提交应用程序、终止应用程序,获取应用程序运行状态等。ClientRMService实现了 ClientRMProtocol协议,提供了丰富的RPC接口,以下是几个例子:
public GetNewApplicationResponse getNewApplication(
GetNewApplicationRequest request)
public SubmitApplicationResponse submitApplication(
SubmitApplicationRequest request)
public KillApplicationResponse forceKillApplication(
KillApplicationRequest request)
public GetApplicationReportResponse getApplicationReport(
GetApplicationReportRequest request)
在客户端,当用户需要提交或者杀死一个作业时,直接使用封装好的对外命令即可,比如MapReduce杀死一个作业直接使用:
bin/hadoop job -kill job_XXX
该命令最终会调用forceKillApplication()函数。
YARN为管理员提供了一套独立的服务接口,以防止大量的普通用户请求使管理员发送的管理命令饿死,管理员可通过这些接口管理集群,比如动态更新节点列表,更新ACL列表,更新队列信息等。通过该服务,YARN为管理员提供了以下几个接口/命令,以管理/更新系统中的队列、节点、用户等信息:
refreshQueues:更新队列信息,调用ResourceScheduler. Reinitialize(),触发重新加载调度器专有的资源配置文件。
refreshNodes:更新exclude和include节点列表,这两个节点列表分别在配置选项yarn.resourcemanager.nodes.exclude-path和yarn.resourcemanager.nodes.include-path指定的文件中设置,其中,exlude节点不能够接入ResourceManager,而include节点则可以接入,默认值为空,表示任何节点均可接入。
refreshSuperUserGroupsConfiguration:更新代理用户和所在的host,为了安全起见,YARN要求上层应用(如Oozie,Hive等)通过一个代理用户接入集群。
refreshUserToGroupsMappings:更新用户与用户组之间的映射,默认情况下,采用Linux 用户和用户组的映射,需要注意的是,YARN会对该映射关系进行缓存,当管理员在操作系统层修改了该映射关系,应使用该命令刷新缓存。
refreshAdminAcls:更新YARN集群管理员列表。可通过配置选项yarn. admin.acl设置YARN的集群管理员,这些管理员可以执行以上所有操作,管理用户应用程序(比如杀死应用程序)。
refreshServiceAcls:更新服务访问控制列表,ResourceManager中包含三个服务,分别是:ClientRMService,ApplicationMasterService和ResourceTrackerService,分别对应访问者Client、ApplicationMaster和NodeManager,管理员可通过该命令刷新这三个服务的合法访问者列表。
为了更加友好地展示集群资源使用情况和应用程序运行状态等信息,YARN对外提供了一个Web 界面,这一部分有一个叫Hamlet的Web框架实现的,Hamlet是YARN仿照haml(http://haml.info/)开发的一个轻量级嵌入式Web框架。具体讨论见:https://issues.apache.org/jira/browse/MAPREDUCE-2399
1. ClientRMService
ClientRMService是为普通用户提供的服务,它会处理来自客户端各种RPC请求,比如提交应用程序、终止应用程序,获取应用程序运行状态等。ClientRMService实现了 ClientRMProtocol协议,提供了丰富的RPC接口,以下是几个例子:public GetNewApplicationResponse getNewApplication(
GetNewApplicationRequest request)
public SubmitApplicationResponse submitApplication(
SubmitApplicationRequest request)
public KillApplicationResponse forceKillApplication(
KillApplicationRequest request)
public GetApplicationReportResponse getApplicationReport(
GetApplicationReportRequest request)
在客户端,当用户需要提交或者杀死一个作业时,直接使用封装好的对外命令即可,比如MapReduce杀死一个作业直接使用:
bin/hadoop job -kill job_XXX
该命令最终会调用forceKillApplication()函数。
2. AdminService
YARN为管理员提供了一套独立的服务接口,以防止大量的普通用户请求使管理员发送的管理命令饿死,管理员可通过这些接口管理集群,比如动态更新节点列表,更新ACL列表,更新队列信息等。通过该服务,YARN为管理员提供了以下几个接口/命令,以管理/更新系统中的队列、节点、用户等信息:refreshQueues:更新队列信息,调用ResourceScheduler. Reinitialize(),触发重新加载调度器专有的资源配置文件。
refreshNodes:更新exclude和include节点列表,这两个节点列表分别在配置选项yarn.resourcemanager.nodes.exclude-path和yarn.resourcemanager.nodes.include-path指定的文件中设置,其中,exlude节点不能够接入ResourceManager,而include节点则可以接入,默认值为空,表示任何节点均可接入。
refreshSuperUserGroupsConfiguration:更新代理用户和所在的host,为了安全起见,YARN要求上层应用(如Oozie,Hive等)通过一个代理用户接入集群。
refreshUserToGroupsMappings:更新用户与用户组之间的映射,默认情况下,采用Linux 用户和用户组的映射,需要注意的是,YARN会对该映射关系进行缓存,当管理员在操作系统层修改了该映射关系,应使用该命令刷新缓存。
refreshAdminAcls:更新YARN集群管理员列表。可通过配置选项yarn. admin.acl设置YARN的集群管理员,这些管理员可以执行以上所有操作,管理用户应用程序(比如杀死应用程序)。
refreshServiceAcls:更新服务访问控制列表,ResourceManager中包含三个服务,分别是:ClientRMService,ApplicationMasterService和ResourceTrackerService,分别对应访问者Client、ApplicationMaster和NodeManager,管理员可通过该命令刷新这三个服务的合法访问者列表。
3. WebApp
为了更加友好地展示集群资源使用情况和应用程序运行状态等信息,YARN对外提供了一个Web 界面,这一部分有一个叫Hamlet的Web框架实现的,Hamlet是YARN仿照haml(http://haml.info/)开发的一个轻量级嵌入式Web框架。具体讨论见:https://issues.apache.org/jira/browse/MAPREDUCE-2399
相关文章推荐
- YARN/MRv2 Resource Manager深入剖析—用户交互相关模块分析
- 电商用户行为分析大数据平台相关系列9-用户访问session的模块介绍
- YARN/MRv2 MRAppMaster深入剖析—ContainerLauncher分析
- YARN/MRv2 MRAppMaster深入剖析—ContainerAllocator分析
- 深入剖析WTL—WTL框架窗口分析(1)
- YARNMRv2 Node Manager深入剖析—NodeManager启动Container流程分析
- YARN/MRv2 MRAppMaster深入剖析—整体架构
- 深入剖析WTL—WTL框架窗口分析 (3)
- CSDN博客与ITEYE博客网站深入比较分析(四)——用户的互动情况(博客与社会网络功能的结合)
- Linux input子系统分析之二:深入剖析input_handler、input_core、input_device
- Android关于Theme.AppCompat相关问题的深入分析
- 深入分析:Fragment与Activity交互的几种方式(三,使用接口)
- 深入分析JavaWeb Item19 -- 基于Servlet+JSP+JavaBean开发模式的用户登录注册
- Android关于Theme.AppCompat相关问题的深入分析
- Java入门:用户登录与注册模块1(实践项目)——分析
- 深入剖析Ruby设计模式编程中对命令模式的相关使用
- 深入剖析WTL—WTL框架窗口分析 (3)
- YARNMRv2 Node Manager深入剖析—NodeManager启动Container流程分析
- 深入分析:Android中app之间的交互(二)
- Android关于Theme.AppCompat相关问题的深入分析