您的位置:首页 > 运维架构

Hadoop自定义Counter

2013-09-11 20:00 204 查看
1.通过enum自定义Counter

public static num LOG_PROCESSOR_COUNTER {

BAD_RECORDS

};

2.在Mapper或者Reducer中操作Counter

context.getCounter(LOG_PROCESSOR_COUNTER.BAD_RECORDS).

increment(1);

3.在Job完成后可以进行最终统计结果的输出

Job job = new Job(getConf(), "log-analysis");

……

Counters counters = job.getCounters();

Counter badRecordsCounter = counters.findCounter(

LOG_PROCESSOR_COUNTER.BAD_RECORDS);

System.out.println("# of Bad Records:"+

badRecordsCounter.getValue());
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: