第2.2章 hadoop之mrunit 多个结果验证
来源:互联网 发布:多线程网络爬虫 编辑:程序博客网 时间:2024/06/06 05:35
mrunit基础配置参考,这里只写核心的单元测试用例
@Test public void test_mapper() throws IOException{ String text = "{\"business\":\"wcnInviteInfoUpload\",\"params\":{\"username\":\"wanghui\",\"provinceId\":\"789\",\"subscribe_time\":\"2017-02-10 00:04:28\",\"openId\":\"ou7nSs1fX2IWh3iXBGYbTMVxDQy2\"}}"; mapDriver.withInput(new LongWritable(), new Text(text)); text = "{\"business\":\"wcnInviteInfoUpload\",\"params\":{\"username\":\"liyan\",\"provinceId\":\"111\",\"subscribe_time\":\"2017-02-10 00:04:28\",\"openId\":\"ou7nSs1fX2IWh3iXBGYbTMVxDQy2\"}}"; mapDriver.withInput(new LongWritable(), new Text(text)); text = "{\"business\":\"wcnInviteInfoUpload\",\"params\":{\"username\":\"wanghui\",\"provinceId\":\"789\",\"subscribe_time\":\"2017-02-10 00:05:28\",\"openId\":\"ou7nSs1fX2IWh3iXBGYbTMVxDQy1\"}}"; mapDriver.withInput(new LongWritable(), new Text(text)); // 按照account、provinceId、countDate作为分组 InviteInfoWritable out1 = new InviteInfoWritable(); out1.setAccount("wanghui"); out1.setProvinceId("789"); InviteInfoWritable out2 = new InviteInfoWritable(); out2.setAccount("liyan"); out2.setProvinceId("111"); try { out1.setCountDate(DateUtil.parseDate("2017-02-10", "yyyy-MM-dd")); out2.setCountDate(DateUtil.parseDate("2017-02-10", "yyyy-MM-dd")); } catch (ParseException e) { e.printStackTrace(); } // 多条结果验证 List<Pair<InviteInfoWritable, Text>> outputs = new ArrayList<>(); outputs.add(new Pair<InviteInfoWritable, Text>(out1, new Text("ou7nSs1fX2IWh3iXBGYbTMVxDQy2"))); outputs.add(new Pair<InviteInfoWritable, Text>(out2, new Text("ou7nSs1fX2IWh3iXBGYbTMVxDQy2"))); outputs.add(new Pair<InviteInfoWritable, Text>(out1, new Text("ou7nSs1fX2IWh3iXBGYbTMVxDQy1"))); mapDriver.withAllOutput(outputs); // mapper运行 mapDriver.runTest(); }
阅读全文
0 0
- 第2.2章 hadoop之mrunit 多个结果验证
- 第2.1章 hadoop之mrunit自定义writable
- [Hadoop]Hadoop单元测试MRUnit
- Hadoop: the definitive guide 第三版 拾遗 第五章 之MRUnit
- Hadoop学习笔记之三:用MRUnit做单元测试
- MRUNIT hadoop逐步调试工具!
- mrunit
- MRUnit
- 在Hadoop中使用MRUnit进行单元测试
- 在Hadoop中使用MRUnit进行单元测试
- hadoop单元测试方法--使用和增强MRUnit
- hadoop单元测试方法--使用和增强MRUnit
- 在HADOOP中使用MRUNIT进行单元测试
- 使用mrunit对hadoop进行单元调试
- Hadoop-使用MRUnit来写单元测试
- Hadoop之HA验证
- hadoop单元调试:MRunit(maven配置pom.xml)
- 从零开始学习Hadoop--第2章 第一个MapReduce程序
- android新开发语言Kotlin的入手Demo
- 知识管理和软件应用技巧
- c++断错误的那些事
- 搜索引擎选择: Elasticsearch与Solr
- producer consumer java代码
- 第2.2章 hadoop之mrunit 多个结果验证
- android 5.0系统新加的默认颜色 colorPrimary,colorPrimaryDark的作用
- 多线程优点
- node 反向代理 谷歌
- 编辑器中点击上传图片选择框反应速度很慢的解决办法。
- 反向代理
- Debian8.8开发环境(四)个人设置之bashrc
- Android 自定义HorizontalScrollView抽屉
- Java中PO,VO,BO,DTO,POJO,以及之间的区别