MapReduce调试,通过计数器输出变量值到控制台显示

来源:互联网 发布:知乎 显微镜 编辑:程序博客网 时间:2024/06/16 02:30

hadoop 进行mapreduce编程,有时会需要将map和reduce中的变量值,输出控制台显示,这里可以同计数器Counter来实现


public void map(ImmutableBytesWritable key, Result values,Context context) throws IOException, InterruptedException {//这里通过values 获取各个版本的值for (KeyValue kv : values.list()) {String qualifier = new String(Bytes.toString(kv.getQualifier()));String val = new String(Bytes.toString(kv.getValue()));keycid.set(val+qualifier);
//这里通过计数器输出变量值Counter countPrint1 = context.getCounter("Map++++keycid", keycid.toString());
//这里将计数器加一,也就是变量输出的次数增加了1次countPrint1.increment(1l);context.write(keycid, ONE);}}

0 0
原创粉丝点击