Hadoop中的计数器
来源:互联网 发布:八中数据谷实验中学 编辑:程序博客网 时间:2024/04/30 13:21
计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器,记录数据或者进度的变化情况。
1. 内置计数器
我们运行上一章中的例子,看一下计数器的输出内容,如图6-1
图6-1
在图6-1中,计数器有19个,分为四个组:File Output Format Counters、FileSystemCounters、File Input Format Counters和Map—Reduce Framkework。
分组File Input Format Counters包括一个计数器Bytes Read,表示job执行结束后输出文件的内容包括19个字节(空格、换行都是字符),见图5-10-1。
分组File Output Format Counters包括一个计数器Bytes Written,表示job执行时读取的文件内容包括19个字节(空格、换行都是字符),见图5-9-1。
2. 自定义计数器
以上分析的是系统内置的标准计数器。除此之外,我们也可以自己定义计数器使用。在上一章例子中,我们打算在map方法中统计空行记录的数量。代码如图6-2。
图6-2
在图6-2中,我们首先通过Mapper.Context类直接获得计数器对象。这里有两个形参,第一个是计数器组的名称,第二是计数器的名称。然后通过第62行判断是否存在空行。如果有,进入条件判断语句块,调用计数器对象的increment方法。执行输出如图6-3所示。
图6-3
在这里,计数器是20个,多了一个计数器组“Error Rows”,多了一个计数器“Empty Row”。
0 0
- Hadoop中的计数器
- hadoop 计数器
- Hadoop 计数器
- Hadoop中自定义计数器
- Hadoop 2.0 计数器
- 【hadoop】用户自定义计数器
- Hadoop中自定义计数器
- Hadoop MapReduce 计数器
- hadoop计数器(一)
- hadoop计数器(二)
- Hadoop自定义计数器Counter
- Hadoop中自定义计数器
- Hadoop中自定义计数器
- hadoop的计数器
- Hadoop读书笔记(十)MapReduce中的从计数器理解combiner归约
- hadoop命令行中自定义计数器
- hadoop命令行中自定义计数器
- Hadoop自定义计数器的使用
- 第十四周(项目一)——动物这样叫。
- 数组如何去重
- ANR分析
- ios--Xcode重置窗口
- 可以说是皮鞋的大杂烩吧
- Hadoop中的计数器
- 一个简单的图片切换特效
- [转载]Android使用 LruCache 缓存图片
- 浮点数的二进制表示
- 第十四周 项目2-平面面积OJ版
- 严重: StandardServer.await: create[8005]:
- 将cocos2dx项目从Visual Studio 迁移到 xcode
- 一个Tomcat支持不同的域名访问各自不同程序的配置方法
- pwgen生成随机密码