mongo数据库 mapreduce 与 group 效率比较
来源:互联网 发布:nginx多域名跳转 编辑:程序博客网 时间:2024/05/14 21:02
参考:
http://www.oecp.cn/hi/yongtree/blog/2001
http://www.360doc.com/content/11/0517/07/2660674_117324396.shtml
http://www.360doc.com/content/11/0906/16/1542811_146231902.shtml
与传统的关系型数据库一样,mongo这个典型的NOSQL也提供了分组查询功能。
那我们今天就来实际探讨测试一下,这个两者的效率之比较
本文的mapreduce 使用的是morphia 层API,
关于mapreduce接口使用可以见demo
http://code.google.com/p/morphia/source/browse/trunk/morphia/src/test/java/com/google/code/morphia/TestMapreduce.java?r=1514&spec=svn1707
测试用例是这样设计的。插入100000次记录,250次为一次循环。
for (int i = 0; i < 100000; i++) { SyncContactsEntity syncContactsEntity = new SyncContactsEntity(); syncContactsEntity.setCountname("jhytest" + i / 250); ds.save(syncContactsEntity); if (i % 1000 == 0) { // System.out.println(Calendar.getInstance().getTime().getTime()); } }
这样的话,数据库中每个联系人名字都有250个重复的,这样方便我们进行group测试。
这里直接贴出mapreduce的测试代码
System.out.println(Calendar.getInstance().getTime().getTime());String map = "function () {emit(this.countname, {count:1}); }";String reduce = "function (key, values) { var total = 0; for ( var i=0; i<values.length; i++ ) {total += values[i].count;} return { count : total }; }";MapreduceResults<ResultEntity> mrRes = ds.mapReduce(MapreduceType.REPLACE,ds.createQuery(SyncContactsEntity.class), map, reduce, null,null, ResultEntity.class);System.out.println(Calendar.getInstance().getTime().getTime());
查询时间打印为:
查询前:1356187367375
查询后:1356187376281 大概花了9秒钟
我们再来看看 mongodb 的group函数
DBCollection userSColl = mongo.getDB("new_hotel").getCollection("contsentity"); BasicDBObject key = new BasicDBObject("countname", true); BasicDBObject initial = new BasicDBObject("cou", 0); String reduce = "function(obj,pre){pre.cou++}"; System.out.println(Calendar.getInstance().getTime().getTime()); BasicDBList returnList = (BasicDBList) userSColl.group(key, null,initial, reduce); System.out.println(Calendar.getInstance().getTime().getTime());
查询前:1356187815390
查询后:1356187817390 大概花了2秒钟
当然了本案是在单节点的mongodb上进行的测试,group的效率明显很高。
但是需要提出两点注意点,大家在开发的时候注意:
1、网上文章说不要用 group 是因为他返回的list内存值,在查询结果条数大 10,000 keys的情况下会爆出异常。
出处:http://api.mongodb.org/wiki/current/Aggregation.html#Aggregation-Group
而 mapreduce的 查询结果是生成一张表,所以返回是fetch 一段一段加载的,不存在这样的问题。
2、group不适合在多点分片的mongodb部署中使用,这个需要注意。
关于这个问题可能后续继续讨论一下。
- mongo数据库 mapreduce 与 group 效率比较
- mongo与Java之Mapreduce
- MapReduce与并行关系数据库的比较
- Mongo与mysql比较
- spring mongo 下 mapreduce 和 group的用法
- mongo数据库的group 学习例子
- Mongo Group
- MongoDB中group() mapReduce() aggregate()之比较
- mongo mapreduce
- Mapreduce与Hive比较
- php读写文件与读写数据库的效率比较分享
- mongo,redis等NoSQL数据库性能比较
- mongo数据库备份与恢复
- Mongo数据库安装与入门
- 【转】Mongo db 与mysql 语法比较
- Mongo db 与mysql 语法比较
- Mongo db 与mysql 语法比较
- Mongo db 与mysql 语法比较
- 关系型数据库的范式理解
- 63
- 用OpenGL制作三维迷宫(二)
- JSF 2.0 新特性预览系列(Part 1:)ProjectStage
- 实现java class动态更新的几个机制
- mongo数据库 mapreduce 与 group 效率比较
- 如何改资源ID
- 64
- <模板><计算几何>凸包-旋转卡壳最小面积外接矩形
- 什么是好的程序员
- HTTP POST GET 本质区别详解
- 免杀XP后门(适合菜鸟电脑)
- 第11周实验
- Cookie Session Cache