hadoop中的balancer

对于HDFS集群，经常长时间的运行，尤其是大量的delete操作后，集群中各个Datanode上的空间使用率可能会存在比较大的差异。所以需要一种机制使各个Datanode保持平衡，防止少数Datanode存储过多的文件。少数使用率过高的Datanode会导致对其的数据访问效率变低，并且如果该Datanode挂掉，需要更多的时间进行恢复，对集群也会造成更大的影响。Hadoop中已经提供了balancer的机制。hadoop balancer -threshold <threshold>通过上面的命令可以是Hadoop对各个Datanode进行评估并使他们保持平衡。参数threshold表示的平衡的阀值，取值范围在0%到100%之间。该参数表示每个Datanode中空间使用率与HDFS集群总的空间使用率的差距百分比。 假如当前集群总空间为20T，已经空间为10T，那么对于HDFS集群来说空间使用率为50%。当前集群有2台Datanode，每台有10T总空间。Datanode 1已用空间为4T，那么Datanode的空间使用率为40%Datanode 2已用空间为6T，那么Datanode的空间使用率为60%如果我设置balancer的阀值为10%，那么此时两台Datanode的使用率与HDFS的总使用率的比值均超过阀值，此时需要执行balancer。如果我设置balancer的阀值为50%，那么此时两台Datanode的使用率与HDFS的总使用率的比值均未超过阀值，此时不需要执行balancer。 阀值设置的越小，那么HDFS各个Datanode的使用率越接近，整个集群也更加的平衡，但会需要消耗更多的时间和资源来达到该平衡状态。如果阀值设置的过小，那么对于操作非常频繁的HDFS集群，有可能永远也不会达到该阀值所指定的平衡状态。阀值设置的越大，那么HDFS各个Datanode的使用率差距越大，但是会较容易达到。 在balancer的过程，hadoop会递归的把BLOCK从使用率高的Datanode转移到那些使用率低的Datanode上。在每次递归的过程中，单个Datanode转移或者接受的BLOCK不过超过10G或者它存储能力的阀值（根据该Datanode的总空间决定）。并且每次递归过程也不能执行超过20分钟。在每次递归过后，会更新Datanode的最新状态信息，决定下一次递归的执行。 通过参数dfs.balance.bandwidthPerSec可以现在balancer过程所占用的网络带宽，单位为每秒字节数，默认值为1M。如果你的集群比较空闲或者带宽比较大，可以适当的增加该参数，来加速整个balancer过程。如果你的集群比较繁忙或者带宽比较小，就要调小该参数，但这个balancer过程会变得缓慢。对该参数的参数，只有在HDFS下次启动后才可以生效。 整个balancer过程还是比较复杂的，首先会计算集群总的使用率，然后分别计算各个活着的Datanode结点的使用率。根据balancer阀值对各个Datanode进行分类，找到那些使用率过高的和使用率过低的结点。遍历使用率过高的结点，找到适合迁移BLOCK的目标结点，原则就是最好是同一机架，如果当前机架没有适合的才会考虑其他机架。把BLOCK从使用率高的结点拷贝到使用率低的结点，完成一次递归过程后重新计算使用率，判断使用需要进行下一次过程。整个递归过程，最多会执行5次。