hadoop2.5.2学习12-MR之PageRank02

Counter

在上一篇文章中为了记录每个reduce中的每组PR差值，我们需要一个全局变量来记录这些差值。

hadoop为我们提供了Counter接口

Counter是一个接口：

org.apache.hadoop.mapreduce.Counter extends Writable

Counter跟踪Map-Reduce的进程

Counters表示全局的counters， 可以被任何的Map-Reduce框架或应用定义，

a 每个Counter都有一个Enum命名，

b 每个Counter都是存储一个long类型的值。

具体实现

在上篇文章中统计PR,使用了Counter来统计新旧PR值的差值，

首先定义一个Enum,用来标记Counter, 因为 a 决定要定义一个Enum.

public static enum MyCounter {
countName;
}

因为要满足b， 而PR差值是double类型的数值，所以将PR值*1000.0

通过Enum获指定的Counter， 调用Counter的increment(long)来记录这个PR差值。

//因为incerment(long ), 所以要保证数据正确性， 所以乘以1000.0
int j = (int) (d*1000.0);
j = Math.abs(j);
System.out.println(j);
context.getCounter(MyRunJob.MyCounter.countName).increment(j);

在每次job执行完成，将Counter中的值提取出来

long sum = job.getCounters().findCounter(MyCounter.countName).getValue();

因为默认分组是按照key进行分组， 而reduce的key是节点的字符，所以每个分组被reduce处理，都会产生一个PR差值，所以最终的Counter中记录的数据是所有分组的差值总和，所以在job执行完，要进行和阈值对比，要将Counter的值/4000.0，用来求去平均的差值

/**
* 因为每次的reducer中按照key进行四次计算， 每次计算增加一次j
* reducer:
*      context.getCounter(MyRunJob.MyCounter.countName).increment(j);
* 所以求取平均差值。要除以4*1000.0
*      在reducer中：int j = (int) (d*1000.0);
*/
double avgD = sum/4000.0;

平均差值小于阈值，说明数据收敛，那么久停止迭代。

if (avgD < d) {//达到了收敛
break;
}

暂时记录于此