Yarn源代码分析之旅---NodeManager---Container管理之资源本地化
2014-02-20 11:43
399 查看
概述
ContainerManagerImpl内部包含一个负责资源本地化的服务,它负责Container所需资源的本地化,能够根据描述从HDFS上下载Container所需的文件资源并尽量将他们分摊到各个磁盘上,以防止出现访问热点。此外还会为下载的文件添加访问控制权限,并为之施加何时的磁盘空间使用份额。初始化时会生成一个ScheduledThreadPoolExecutor类型的对象cacheCleanup,负责清理工作。
serviceInit
检查conf的合法性,然后初始化资源跟踪器LocalResourcesTrackerImpl,得到本地资源上线文,设置访问权限,接下来根据LocalDirsHandlerService得到本地目录,然后循环将每个目录下面的UserCache,FileCache以及nmPrivate文件夹改名,加上后缀DEL_时间戳,交给DeletionService去删除它们。接着,新建一套全新的,包括UserCache,FileCache以及nmPrivate目录,以及log目录。接着初始化一些变量,包括cache的大小,清理时期,localization的server地址,生成LocalizerTracker服务,添加到服务列表。
serviceStart
cacheCleanup线程启动,生成LocalizationProtocol RPC服务端,并启动之。LocalizerTracker
TODO相关文章推荐
- YARNMRv2 Node Manager深入剖析—NodeManager启动Container流程分析
- VisualNet广电网络资源管理系统排除故障分析
- hadoop 1.X资源管理机制缺陷分析和解决方案 推荐
- gaia引擎分析(一)资源管理
- Android中资源管理机制详细分析
- 分析资源管理系统的演变: 从Mesos,YARN再到Google Omega
- Struts2 源码分析——配置管理之ContainerProvider接口
- 资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析
- Chromium界面分析小结(七)图片资源管理方法
- Starling案例分析——<Hungry Hero>资源管理
- Unity3d资源管理分析
- 资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析
- Unity3d资源管理分析
- Kubernetes技术分析之资源管理
- Unity3d资源管理分析
- Chromium界面分析小结(八)字符串资源管理方法
- Unity3d资源管理分析
- 一个简单的本地化资源管理系统--具体实现
- 资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析
- 一个简单的本地化资源管理系统-表结构