MapReduce进阶，函数运行机制以及逻辑详解

通过一个小程序，理解mapReduce的逻辑，以及函数方法运行的机制。

虽然例子举得不太好，看完有种没必要的感觉，但是有助于新手理解mapreduce。

不讲原理，只讲代码和逻辑。

求班级内年龄最大的姓名和年龄：

file1：

小明 13

小强 14

小红 12

file2：

小蓝 20

小白 15

小青 10

小黑 23

file3：

等等等等。。。

代码：

package com.ming.blog;

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;

public class Blog {

public static class BlogMapper extends Mapper<LongWritable, Text, Text, Text> {
//map操作是将数据分裂，根据不同的key，分成不同组，并规定map操作后输出的格式
//每一个key做一次map操作，在这里每一行做一次map操作，value则是一个行的数据
//即key是行号，value是'小明 13'
public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

//这里可以根据业务需求，随便规定输出的格式
//因为是求班级年龄最大，所以年龄和姓名是变动的，一个班级是固定的，所以key设置为1，表示一个班级（如果不太懂，看完reduce操作，再回来看就懂了）
//即，这里是'key:1 value:小明 13'
context.write(new Text("1"), value);
}
}

public static class BlogReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
//reduce操作简单的来说就是 通过相同的key，对一个或多个value做操作，例如：相同的单词对数量做操作；相同的班级对姓名年龄做操作
//相对于一次reduce操作来说，key是定值，value是变值
//每一个key做一次reduce操作
public void reduce(Text key, Iterable<IntWritable> values, Context context)throws IOException, InterruptedException {
int max=0;
String name=null;
String[] people=null;

//现在的values是这样的：iterator-->{小明 13}
// {小强 14}
// {小红 12}
// |
while(values.iterator().hasNext()){
//将每一行数据再分割，即people{小明,13}
people=values.iterator().next().toString().split(" ");
//比较年龄
if(Integer.parseInt(people[1])>max){
max=Integer.parseInt(people[1]);
name=people[0];
}
}
//输出最终的文件
context.write(new Text(name), new IntWritable(max));
}
}

}