MRUnit测试map/reduce

来源:互联网 发布:百度云加速 seo 编辑:程序博客网 时间:2024/05/17 22:07

Mrunit是一种对mapreduce进行单元测试的工具,其特点是不需要启动集群。

首先利用maven先加上一来,我们用的是hadoop2.7.3。

org.apache.mrunit
mrunit
1.1.0
hadoop2

如果不能下载的话,建议去官网下载源码,然后进行编译。地址:
http://archive.apache.org/dist/mrunit/mrunit-1.1.0/

在test/java下面,新建class.
这里写图片描述
如果程序根据我们输入的参数,进行map/reduce计算后,和我们理想的输出结果相同,那么测试通过,否则就失败,这个时候就可以去debug找问题了。这个工具让我们对map/reduce的基本逻辑能进行一个测试,不然每次提交到集群上面去运行,不太利于debug!

原创粉丝点击