《Hadoop生态》——第二章 数据库与数据管理——MongoDB

来源:互联网 发布:金立手机系统优化 编辑:程序博客网 时间:2024/05/16 11:02

MongoDB


这里写图片描述

许可证: Free Software Foundation’s GNU AGPL v3.0.; commercial licenses available from MongoDB, Inc.
活跃度:
目的: 面向文档的JSON数据库
官方地址: http://www.mongodb.org
Hadoop集成: API兼容

如果在你的Hadoop集群中有很多JSON文档,现在需要一些数据管理工具可以高效地利用这些数据,那么可以考虑下MongoDB——开源,大数据,面向文档的数据库,这些文档都是JSON对象。在2015年初,它就是一款相当流行的NoSQL数据库了。不像其它的数据库系统,MongoDB支持二级索引,也就是说它可以很快地搜索,而不是在Mongo数据库中唯一标识每个文档的主键。这个名字源于俚语“humongous”,意思就是非常非常非常地大。虽然MongoDB原本不是运行在Hadoop和HDFS上,但是它可以用于连接Hadoop。

MongoDB是一个面向对象的数据库,文档是JSON对象。在关系型数据库中有表和行。在MongoDB数据库中,一行就相当于一个JSON文档,集合(collection)就相当于表,一个JSON文档的集合。想理解MongoDB,你应该直接跳到这本书的JSON部分。

也许最好理解使用MongoDB的方法就是用示例代码,这个在下面的“示例代码”部分。

教程链接

官方项目主页的教程是一个很适合于初学。在互联网上依然有很多视频,包括系列信息。

示例代码

这次计算标准数据集电影Dune的平均打分。如果你懂Python,那就很清楚了。如果你不懂,那么这个代码依然十分简洁:

#!/usr/bin/python# import required packagesimport sysimport pymongo# json movie reviewsmovieReviews = [    {"reviewer": "Kevin", "movie": "Dune", "rating", "10"},    {"reviewer": "Marshall", "movie": "Dune", "rating", "1"},    {"reviewer": "Kevin", "movie": "Casablanca", "rating", "5"},    {"reviewer": "Bob", "movie": "Blazing Saddles", "rating", "9"}]# MongoDB connection infoMONGODB_INFO = 'mongodb://juser:password@localhost:27018/db'# connect to MongoDBclient = pymongo.MongoClient(MONGODB_INFO)db = client.get_defalut_database()# create the movies collectionmovies = db['movies']# insert the movie reviewsmovies.insert(movieReviews)# find all the movies with title Dune, iterate through them# finding all scores by using# standard db cursor technologymcur = movies.find({'movie': {'movie': 'Dune'})count = 0sum = 0# for all reviews of Dune, count them up and sum the rankingsfor m in mcur:    count += 1    sum += m['rating']client.close()rank = float(sum) / float(count)print ('Dune %s\n' % rank)
阅读全文
0 0
原创粉丝点击