Spark on yarn
2016-08-28 14:05
225 查看
ResourceManager 资源管理 只有一个（资源以Container表示）
ApplicationMaster 应用管理 用户每提交一个application都包含一个ApplicationMaster
NodeManager 每个节点对应一个
ApplicationMaster 启动后向ResourceManager要资源
每个Executor对应一个Container
每个SparkContext有一个ApplicationMaster
spark支持的两种模式区别 Spark Driver运行在哪儿
yarn-cluster（YarnClusterScheduler） （driver和ApplicationMaster运行在一起，client看不到运行结果）
yarn-client （YarnClientClusterScheduler）（driver和client运行在一起，适用于终端返回结果）
本文出自 “点滴积累” 博客，请务必保留此出处http://tianxingzhe.blog.51cto.com/3390077/1701836
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Spark on yarn和Hadoop on yarn的区别
- Spark源码走读10——Spark On Yarn
- Spark on YARN客户端模式作业运行全过程分析
- Spark on YARN的部署
- SparkSQL On Yarn with Hive，操作和访问Hive表
- Spark On Yarn：提交Spark应用程序到Yarn
- Spark On Yarn：提交Spark应用程序到Yarn
- spark on yarn 出现的问题【测试wordcount程序遇到的错误，ipc.client连接到yarn的端口失败】
- spark on yarn，Initial job has not accepted any resources
- Spark on Yarn
- Spark on YARN配置日志Web UI
- spark on yarn图形化任务监控利器：History-server帮你理解spark的任务执行过程
- Spark ON Yarn
- 【Spark】----Spark on Yarn
- Spark on YARN cluster & client 模式作业运行全过程分析
- spark2.0.1 on yarn with hue 集群搭建部署（四）hive、hive metastore安装
- spark远程debug之调试spark on yarn 程序（基于CDH平台，1.6.0版本）
- spark on yarn 详解
- Spark On Yarn的两种模式yarn-cluster和yarn-client深度剖析
- Spark on Yarn 集群运行要点