map任务split切片 reduce个数 partition

mapreduce（map和reduce个数） map任务split切片 reduce个数 partition(下面有源码)

map个数：由任务切片spilt决定的，默认情况下一个split的大小就是block
由参与任务的文件个数决定的 
maxSize:由配置参数mapred.max.spilt.size确定,已经不考虑用户设定的maptask个数;
minSize:inputSplit的最小值,由配置参数mapred.min.spilt.size确定,默认值为1;

BlockSize:HDFS中块的大小

splitSize=max(minsplitSzie,min(maxsplitSize,blockSize=128M))

fileSzie/splitSzie=split个数

conf.setLong("mapred.max.split.size",splitSize)

conf.setLong("mapred.min.split.size",splitSize)

按照正常方式,当最后两个切片小于blockSize大小的110%,会合并成一个block.

对于大文件，一般选择split=block，如果split<block 则会增加map执行的并发度，但是会造成在节点之间拉取数据



对于小文件，默认一个文件启动一个map，这样会启动多个map，增大节点资源消耗，此时可以使用使用InputFormat(下面有源码)将多个小文件加入到一个split，并适当增大split的大小，这样会减少map启动的个数，减少并发度，减少资源消耗

reduce个数：由分区个数决定 可以由用户在程序中Driver自定义job.setNumReduceTasks(3);一个ruduce对应一个结果文件partition

partiton（分区）：用来指定map输出的key交给哪个reuducer处理 默认是通过对map输出的key取hashcode (hashcode值唯一且对于数字和字母都可以进行处理)对指定的reduce个数求模（取余）
key.hashcode() % N=job.setNumReduceTasks(n)

Group 分组：map输出的相同key放到一个分组

Sort 排序： 根据key进行排序 

/** Partition keys by their {@link Object#hashCode()}. */

@InterfaceAudience.Public

@InterfaceStability.Stable

public class HashPartitioner<K, V> extends Partitioner<K, V> {

  /** Use {@link Object#hashCode()} to partition. */

  public int getPartition(K key, V value,

                          int numReduceTasks) {

    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
  }

}

public abstract class CombineFileInputFormat<K, V> extends CombineFileInputFormat<K, V>  implements InputFormat<K, V>{

  public InputSplit[] getSplits(JobConf job, int numSplits) 

    throws IOException {

    List<InputSplit> newStyleSplits =

      super.getSplits(new Job(job));

    InputSplit[] ret = new InputSplit[newStyleSplits.size()];

    for(int pos = 0; pos < newStyleSplits.size(); ++pos) {

    CombineFileSplit newStyleSplit = 

        (CombineFileSplit) newStyleSplits.get(pos);

      ret[pos] = new CombineFileSplit(job, newStyleSplit.getPaths(),

        newStyleSplit.getStartOffsets(), newStyleSplit.getLengths(),

        newStyleSplit.getLocations());

    }

    return ret;

  }

}