Hadoop Counters

来源:互联网 发布:淘宝客推广工具手机版 编辑:程序博客网 时间:2024/04/27 18:42

Hadoop Counters是用于计数的,我们可以定义一些计数器,用于执行过程的计数,在执行完任务,会将计数器的值打印在控制台,也可以通过WEB查看,方便调试,因为在执行MapReduce的过程中,不能打印信息:

定义格式如下:

[cpp] view plaincopy
  1. HadoopPipes::TaskContext::Counter*mapCounter;  

注册:
[cpp] view plaincopy
  1. mapCounter = context.getCounter("myCounter""mapCounters");//注册,myCounter代表它所在的组,mapCounters表示名称  

使用:
[cpp] view plaincopy
  1. context.incrementCounter(mapCounter,1);  

完整代码例子:
[cpp] view plaincopy
  1. class WordCountMap: public HadoopPipes::Mapper {  
  2. public:  
  3.     HadoopPipes::TaskContext::Counter* mapCounter;//定义  
  4. public:  
  5.   WordCountMap(HadoopPipes::TaskContext& context){  
  6.         mapCounter = context.getCounter("myCounter""mapCounters");//注册,myCounter代表它所在的组,mapCounters表示名称  
  7.     }  
  8.   
  9.   void map(HadoopPipes::MapContext& context) {  
  10.     std::vector<std::string> words =  
  11.       HadoopUtils::splitString(context.getInputValue(), " ");  
  12.     for(unsigned int i=0; i < words.size(); ++i) {  
  13.       context.emit(words[i], "1");  
  14.     }  
  15.     context.incrementCounter(mapCounter,1);//使用  
  16.   }  
  17. };  

运行之后在控制台看到:


在WEB的任务跟踪页面看到:




原创粉丝点击