MongoDB+大数据,几近完美

来源:互联网 发布:淘宝卖家如何找货源 编辑:程序博客网 时间:2024/04/29 07:47

背景

我在2013年12月份加入了Couchbase。其实我热衷于大数据已经很多年了,从2009年9月份我就开始写一些关于NoSQL的东西了 (link), 在我是个Red Hatter的时候我就开始写关于大数据的东西了 (link)。

我当时感觉MongoDB把它自己定位为大数据解决方案。有一次我参加了Gartner公司举办的一个大数据和NoSQL主题的宣讲会。在大数据体系的幻灯片里列出来了一个NoSQL数据库,而那就是MongoDB。在维基百科大数据页面列出来了一个NoSQL数据库,而那就是MongoDB。事实上我很奇怪Matt居然被认为Hadoop和MongoDB是竞争对手的人质疑(link)。(译者注:我也不知道Matt是谁,从原文完全看不出来,大概是就是那个放幻灯片的人吧。)

Couchbase Server的定位则不是大数据处理方案,不过有个Cloudra认证的连接方法可以把它和Hadoop结合起来 (link)。我们让客户把Couchbase Server和Hadoop联合起来以增强扩展Couchbase Server的能力。我们这么做是有着充分考虑的:

  • Hadoop是大数据处理的基础。
  • Couchbase Server是一个NoSQL的数据库。
  • Couchbase与Hadoop功能不同,互不冲突。
  • NoSQL在大数据中应该有一席之地。

MongoDB + Cloudera

在2014年4月29日,我已經不认为MongoDB把它自己定位为大数据解决方案了。事实上,他们正计划跟Hadoop进行适当的集成。这对于广大NoSQL/大数据的爱好者是件大好事。而这其实就是第一代大数据解决方案。第一代解决方案通过批处理导入和导出数据,而并不考虑运营需求、扩展需求和数据实时分析需求。

Matt引用了一个Hadoop分析总体而NoSQL跟个体互动的案例。与个体的互动会导入Hadoop,而对总体的分析会反过来回馈给NoSQL数据库。对Couchbase而言,与其用一个用例不如用一个参考用户来说明。 AOL公司结合Hadoop和Couchbase完成广告精确投放(link)。

Big Data Central

Big Data Central在2014年4月14日上线。

我们相信NoSQL的作用是满足企业对线上和线下数据处理的分析需求和运营需求,完成第二代大数据解决方案。Hadoop体系满足了分析需求。NoSQL满足了运营需求。依赖于Elasticsearch、Storm和更多能够实时分析和搜索并满足运营需求的新兴技术第二代大数据解决方案需要一个具有良好扩展性和高性能的NoSQL数据库。

LivePerson公司把Storm、Couchbase和Hadoop集成来实现第二代大数据解决方案(link)。这个架构既包含了批处理又包含了实时处理。LivePerson公司在评估了Couchbase、MongoDB和DataStax这三款NoSQL数据库后,发现只有Couchbase可以满足高吞吐量的需求。

一个局限于每库每节点单锁或扩展性差的NoSQL数据库是不能满足第二代大数据解决方案需要的。而这就是MongoDB和Couchbase Server的区别所在。MongoDB只适合第一代大数据解决方案,而Couchbase Server则两代通吃。


原帖地址:http://blog.couchbase.com/mongodb-big-data-almost-there

0 0
原创粉丝点击