clusterdata-2011-2 谷歌集群数据分析(三)
2017-10-21 20:53
776 查看
现在想找这么一种数据,该作业在每次调度时会以不同的方式执行,例如第一次以并行度为3的方式执行,第二次以并行度为5 的方式执行,然后比较不同并行度下作业的执行时间。
1、一个作业在多次调度时,每一次分配的Job ID是不同的,如下图,Job name为 “”VRH1Jd5MGmAfJ9/rKwhsafRxNYi77rYxgsgb1q2OJw=” 的作业在提交(0)完成(4)过程中的Job ID(第3个属性)都是不同的。
其中Job ID 为6251675381的作业执行情况:
Job ID 为6251752722的作业执行情况:
Job ID 为6251835479的作业执行情况:
还有一个作业也是多次调度执行:
这两个作业虽然多次调度执行,但每次调度时都是顺序执行,我想找这么一种数据,该作业在每次调度时会以不同的方式执行,例如第一次以并行度为3的方式执行,第二次以并行度为5 的方式执行,然后比较不同并行度下作业的执行时间。但是现在还没找到多次调度且并行执行的作业
找到一个多次调度并且有并行运算的任务,不过这个任务调度过程中被杀死了:
发现了一个有意思的现象,将调度类型为3(对延迟比较敏感)的作业筛选出来,发现所有作业都如上图所示,在执行过程中被杀死,而且都没有顺利执行完成,event type没有4出现。
1、一个作业在多次调度时,每一次分配的Job ID是不同的,如下图,Job name为 “”VRH1Jd5MGmAfJ9/rKwhsafRxNYi77rYxgsgb1q2OJw=” 的作业在提交(0)完成(4)过程中的Job ID(第3个属性)都是不同的。
其中Job ID 为6251675381的作业执行情况:
Job ID 为6251752722的作业执行情况:
Job ID 为6251835479的作业执行情况:
还有一个作业也是多次调度执行:
这两个作业虽然多次调度执行,但每次调度时都是顺序执行,我想找这么一种数据,该作业在每次调度时会以不同的方式执行,例如第一次以并行度为3的方式执行,第二次以并行度为5 的方式执行,然后比较不同并行度下作业的执行时间。但是现在还没找到多次调度且并行执行的作业
找到一个多次调度并且有并行运算的任务,不过这个任务调度过程中被杀死了:
发现了一个有意思的现象,将调度类型为3(对延迟比较敏感)的作业筛选出来,发现所有作业都如上图所示,在执行过程中被杀死,而且都没有顺利执行完成,event type没有4出现。
相关文章推荐
- clusterdata-2011-2 谷歌集群数据分析(二)--task_usage
- clusterdata-2011-2 谷歌集群数据分析(一)
- Spark项目之电商用户行为分析大数据平台之(三)大数据集群的搭建
- 数据绑定以及Container.DataItem几种方式与用法分析
- solr dataimport 数据导入源码分析(十三)
- 数据绑定以及Container.DataItem的具体分析
- 数据绑定以及Container.DataItem的具体分析
- IOS之分析网易新闻存储数据(CoreData的使用,增删改查)
- 谷歌拒绝向安全公司开放病毒分析数据
- 扩增子分析QIIME2. 8数据筛选Filtering data
- 数据绑定以及Container.DataItem几种方式与用法分析
- 数据绑定以及Container.DataItem几种方式与用法分析
- 数据绑定以及Container.DataItem几种方式与用法分析
- R语言为Hadoop集群数据统计分析带来革命性变化
- solr dataimport 数据导入源码分析 补充
- 2011-我负责的测试项目数据分析
- Google Data Binding Library 谷歌官方数据绑定库(四) 语法和运算符
- HazelCast-Java实现的内存数据网格(In-Memory Data Grid)分析 二
- Google Data Binding Library 谷歌官方数据绑定库(五) 可观察的数据对象
- 数据绑定以及Container.DataItem几种方式与用法分析