Hadoop 提交任务执行流程总结

用流水线可表示任务执行流程如下：

input(k1,v1) -> map ->
(k2,v2) -> combine -> shuffle(partitioner)
-> sort -> (k2,v2) -> reduce -> (k3,v3)
->output

接着来段大白话，聊一聊：

一，input

(通过FileInputFormat设置)，此步主要工作：验证输入形式，调用InputSplit决定map个数，并通过RecordReader用于输入记录；

二，map

(把输入的(k1,v1)分割成n个(k2,v2))，此步主要工作： setup初始化map工作例如打开文件，map例如把一行分割成(word,1)的(k,v)形式，用于后面reduce词频统计，cleanup收尾map工作例如关闭文件；

三，combine

此步主要工作：对map操作过后的(k2,v2)，按键值进行归并，也就是把key值相同的的value归并成一个values_list，此步是在map端进行，但是仅仅做归并操作，并没有多余的操作，目的是不让数据太分散，减少数据传输的网络开销；

四，shuffle

(这个词，记了好几次...也怪我记性差~_~!!)此处用partitioner就好记喽，此步主要工作：对combine后的结果进行分区操作，使具有相关性的数据发送到相同reduce节点上，避免具有相关性数据分散在不同reduce节点上，导致reduce计算过程中还得去访问其他reduce节点，降低运算效率；

五，sort

此步主要操作：map处理过后的数据在进行reduce操作之前，进行排序操作，其过程为map过后，对分散存储的数据进行快速排序，然后通过归并排序把分散的数据存入一个大文件；

六，reduce

对(k2,v2)进行操作，其中v2指value_list，例如词频统计对(value_list数据进行累加)，同map包括(setup, reduce, cleanup)

七，output

(通过FileOutputFormat设置)，此步主要把任务数据存储起来，其中包括recordWriter对输出进行记录
这一过程中系统参数设置如下：

点击(此处)折叠或打开

job.setJarByClass(Unique.class);//设置任务执行类

job.setMapperClass(UniMapper.class);//设置map类

job.setCombinerClass(UniReduce.class);//设置reduce类

job.setReducerClass(UniReduce.class);//设置combine类

job.setOutputKeyClass(Text.class);//设置程序输出k类型

job.setOutputValueClass(Text.class);//设置任务输出v类型

FileInputFormat.addInputPath(job, new Path(args[0]));//输入路径

FileOutputFormat.setOutputPath(job, new Path(args[1]));//输出路径

参考链接：

http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html