hadoop任务优化-调整队列资源

集群环境： chd5-2.5.2

我们集群使用的是FailScheduler，如果队列参数设置不合理，会直接影响到任务执行的快慢。

队列设置不合理

举例如下：



现状：该队里minshare设置的过小，同时起的任务太多

导致的问题：该队列中平均每个任务分的资源比较少，任务跑的特别慢，同时，任务之间会相互抢占container

比如下面的任务，跑了30多个小时，还没跑完



看一下任务详情：

1，当前只分配了11个container，还差约4000个cotnainer才能完成任务，

2，container被kill掉了约16000个，资源浪费严重



container 被kill掉的原因，大部分是因为container被别的任务抢占。：



解决办法：

1）调整minshare，maxshare

2）调整maxrunningapp

参数的详细解释，可以参考

http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-fair-scheduler/