Hadoop2调优（一）：如何控制job的map任务和reduce任务的数量

在运行MapReduce任务的时候如何避免这种情况！



100多个map任务，但是只有1个reduce任务；

此时在mapred-site.xml中修改配置

<property><name>mapred.map.tasks</name><value>10</value><description>As a rule of thumb, use 10x the number of slaves(i.e., number of tasktrackers).

</description></property>

<property><name>mapred.reduce.tasks</name><value>2</value><description>As a rule of thumb, use 2x the number of slaveprocessors (i.e., number of tasktrackers).

</description></property>
map任务的个数建议设置为slave*10（实际上无法控制，map任务的数量是输入分片的数量）， reduce任务的个数（分区的个数），建议设置为2*salve