hadoop内置的计数器分组

组别 名称、类别

MapReduce任务计数 org.apache.hadoop.mapreduce.TaskCounter

文件系统计数器 org.apache.hadoop.mapreduce.FileSystemCounter

FileInputFormat org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter

FileOutputFormat org.apache.hadoop.mapreduce.lib.output.FileoututFormatCounter

作业计数器 org.apache.hadoop.mapreduce.JobCounter

=========================================================================================================

内置任务计数器

map输入的记录

map_input_records 作业中所有map已处理的输入记录数，每次RecordReader读到一条记录并将其传递给map的map（）函数时，该计数器的值增加

map跳过的记录数

map_skipped_records 作业中所有map跳过的输入记录数

map输入的字节数

map_input_bytes 作业中所有map已处理的未经压缩的输入数据的字节数，每次recordReader读到一条记录并传递给其map的map函数，该计数器的值增加

分片split的原始字节数

split_raw_bytes 由map读取的输入-分片 对象的字节数，这些对象描述分片元数据（文件的位移和长）而不是分片的数据自身，因此总规模是小的。

map输出的记录数

map_output_records

map输出字节数

map_output_bytes

map输出的物化字节数 map_output_materialized_bytes

combine输入的记录数 combine_input_records

combine输出的记录数 comvine_output_records

reduce输入的组 reduce_input_groups

reduce输入的记录数 reduce_input_records

reduce输出的记录数 reduce_output_records

reduce跳过的组数 reduce_skipped_groups

reduce跳过的记录数 reduce_skipped_records

reduce经过shuffle的字节数 reduce_shuffle_bytes

溢出的记录数 spilled_records

cpu毫秒 cpu_milliseconds

物理内存字节数

physical_memeory_bytes

虚拟内存数 virtual_memory_bytes

有效的堆字节数 committed_heap_bytes

GC运行时间毫秒数

GC_TIME_MILLIS

由shuffle传输的map输出数shufled_maps

失败的shuffle数

failed_shuffled

被合并的map输出数

merged_map_outputs

=========================================================================================================

内置的文件系统任务计数器
文件系统的读字节数
bytes_read
文件系统的写字节数
bytes_written

=========================================================================================================

内置的FileInputFormat任务计数器
bytes_read
内置的FileOutputFormat任务计数器
bytes_written
=========================================================================================================

作业计数器
内置的作业计数器
启动的map的任务数 total_launched_maps
启动的reduce任务数 total_launched_reduces
启动的uber任务数 total_launched_ubertasks
uber中的map任务数 num_uber_submaps

uber中的reduce任务数 num_uber_subreduces
失败的map任务数 num_failed_maps
失败的reduce任务数 num_failed_reduces
失败的uber任务数 num_failed_ubertasks
数据本地化的map任务数 data_local_maps
机架本地化的map任务数 rack_local_map
其他本地化的map任务数 other_local_maps
map任务的总运行时间 slots_millis_maps

reduce任务的总运行时间 slots_millis_reduces

hadoop权威指南 page=283