hadoop2.5.2学习12-MR之PageRank02

来源：互联网发布：哪一个翻译软件最好编辑：程序博客网时间：2024/06/05 07:22

Counter

在上一篇文章中为了记录每个reduce中的每组PR差值，我们需要一个全局变量来记录这些差值。
hadoop为我们提供了Counter接口

Counter是一个接口：
org.apache.hadoop.mapreduce.Counter extends Writable
Counter跟踪Map-Reduce的进程
Counters表示全局的counters，可以被任何的Map-Reduce框架或应用定义，

a 每个Counter都有一个Enum命名，
b 每个Counter都是存储一个long类型的值。

具体实现

在上篇文章中统计PR,使用了Counter来统计新旧PR值的差值，
首先定义一个Enum,用来标记Counter, 因为 a 决定要定义一个Enum.

    public static enum MyCounter {        countName;    }

因为要满足b，而PR差值是double类型的数值，所以将PR值*1000.0
通过Enum获指定的Counter，调用Counter的increment(long)来记录这个PR差值。

        //因为incerment(long ), 所以要保证数据正确性， 所以乘以1000.0        int j = (int) (d*1000.0);        j = Math.abs(j);        System.out.println(j);        context.getCounter(MyRunJob.MyCounter.countName).increment(j);

在每次job执行完成，将Counter中的值提取出来

long sum = job.getCounters().findCounter(MyCounter.countName).getValue();

因为默认分组是按照key进行分组，而reduce的key是节点的字符，所以每个分组被reduce处理，都会产生一个PR差值，所以最终的Counter中记录的数据是所有分组的差值总和，所以在job执行完，要进行和阈值对比，要将Counter的值/4000.0，用来求去平均的差值

                /**                 * 因为每次的reducer中按照key进行四次计算， 每次计算增加一次j                 * reducer:                 *      context.getCounter(MyRunJob.MyCounter.countName).increment(j);                 * 所以求取平均差值。要除以4*1000.0                 *      在reducer中：int j = (int) (d*1000.0);                 */                double avgD = sum/4000.0;

平均差值小于阈值，说明数据收敛，那么久停止迭代。

if (avgD < d) {//达到了收敛        break;}

暂时记录于此

0 0