Hadoop-4

Counter

计数器:
1.mapreduce任务计数器:TaskCounter
2.文件系统计数器:FileSystemCounter
3.输入文件计数器:FileInputFormatCounter
4.输出文件计数器:FileOutputFormatCounter
5.任务计数器:JobCounter
自定义计数器:
6.Context中可以获取一个Counter,再根据Counter的increamen(long )
context.getCounter(MyCounter.SIMA).increament(2);
7.动态添加计数器:
使用Context的getCounter(String groupName,String counterName)
8.获取counter的值.
Counters counter = RunningJob.getCounters();
counter.find("groupName","helloword")//获取自定义的counter

排序

二次排序：对Map的结果进行排序处理，需要继承

WritableComparator

，需要一个无参的构造函数。

public SecondSort(){super(MyDataType.class,true)}

,其中MyDataType是需要进行

比较的数据类型。使用方法：

job.setSortComparatorClass(SecondSort.class)

结果分组：对Reducer的输出结果进行分组处理。也需要继承

WritableComparator

以及一个无参的构造函数。

public ResultSort(){super(MyDataType.class,true)}

,MyDataType也是需要进行分组的数据

类型。使用方法：

job.setGroupingComparatorClass(ResultSort.class)