Hadoop Counters
来源:互联网 发布:淘宝客推广工具手机版 编辑:程序博客网 时间:2024/04/27 18:42
Hadoop Counters是用于计数的,我们可以定义一些计数器,用于执行过程的计数,在执行完任务,会将计数器的值打印在控制台,也可以通过WEB查看,方便调试,因为在执行MapReduce的过程中,不能打印信息:
定义格式如下:
- HadoopPipes::TaskContext::Counter*mapCounter;
注册:
- mapCounter = context.getCounter("myCounter", "mapCounters");//注册,myCounter代表它所在的组,mapCounters表示名称
使用:
- context.incrementCounter(mapCounter,1);
完整代码例子:
- class WordCountMap: public HadoopPipes::Mapper {
- public:
- HadoopPipes::TaskContext::Counter* mapCounter;//定义
- public:
- WordCountMap(HadoopPipes::TaskContext& context){
- mapCounter = context.getCounter("myCounter", "mapCounters");//注册,myCounter代表它所在的组,mapCounters表示名称
- }
- void map(HadoopPipes::MapContext& context) {
- std::vector<std::string> words =
- HadoopUtils::splitString(context.getInputValue(), " ");
- for(unsigned int i=0; i < words.size(); ++i) {
- context.emit(words[i], "1");
- }
- context.incrementCounter(mapCounter,1);//使用
- }
- };
运行之后在控制台看到:
在WEB的任务跟踪页面看到:
- Hadoop Counters
- Hadoop Counters
- Hadoop-MapReducer 利用计数器Counters(Java)和Error output(python)计数
- CSS Counters
- Atomic Counters
- Browsing Performance Counters
- Performance Monitoring - Basic Counters
- Counters的Set方法
- LoadRunner学习之Counters
- [HBase] Hbase Counters
- Scaling Distributed Counters
- [codility]Max-Counters
- Connection Pool Performance Counters
- MapReduce-Counters含义
- load runner LInux monitor counters
- Performance Counters CPU使用率等
- Curator之recipes之Counters
- Mali Midgard Family Performance Counters
- 设置Windows任务计划,以“每小时”重复
- Nginx开启gzip
- 在一个字符串中找到第一个只出现一次的字符
- SSH知识点
- Qt与Const的故事
- Hadoop Counters
- 《持续交付》笔记——第1章 软件交付的问题
- python简单爬去博文
- 古筝资源汇总
- nginx缓存设置
- CGI
- HttpClient
- hdu1875
- 致初恋的一封信