MongoDB 试用

部分内容摘自 http://www.runoob.com/mongodb/mongodb-tutorial.html

什么是MongoDB ?

MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。

在高负载的情况下，添加更多的节点，可以保证服务器性能。

MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。

MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。

 

---

主要特点

• MongoDB的提供了一个面向文档存储，操作起来比较简单和容易。
• 你可以在MongoDB记录中设置任何属性的索引 (如：FirstName="Sameer",Address="8 Gandhi Road")来实现更快的排序。
• 你可以通过本地或者网络创建数据镜像，这使得MongoDB有更强的扩展性。
• 如果负载的增加（需要更多的存储空间和更强的处理能力） ，它可以分布在计算机网络中的其他节点上这就是所谓的分片。
• Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记，可轻易查询文档中内嵌的对象及数组。
• MongoDb 使用update()命令可以实现替换完成的文档（数据）或者一些指定的数据字段 。
• Mongodb中的Map/reduce主要是用来对数据进行批量处理和聚合操作。
• Map和Reduce。Map函数调用emit(key,value)遍历集合中所有的记录，将key与value传给Reduce函数进行处理。
• Map函数和Reduce函数是使用Javascript编写的，并可以通过db.runCommand或mapreduce命令来执行MapReduce操作。
• GridFS是MongoDB中的一个内置功能，可以用于存放大量小文件。
• MongoDB允许在服务端执行脚本，可以用Javascript编写某个函数，直接在服务端执行，也可以把函数的定义存储在服务端，下次直接调用即可。
• MongoDB支持各种编程语言:RUBY，PYTHON，JAVA，C++，PHP，C#等多种语言。
• MongoDB安装简单。

下载

下载官网：https://www.mongodb.com/download-center

对于ubuntu15.10，可以下载使用：mongodb-linux-x86_64-ubuntu1404-3.4.0，tar.gz文件解压可用。

启动

执行mongo安装目录中的bin目录执行mongod命令来启动mongdb服务，注意，如果你的数据库目录不是/data/db，可以通过 --dbpath 来指定：

 cd /home/conquer/mine/soft/mongodb-linux-x86_64-ubuntu1404-3.4.0/bin./mongod --dbpath=/home/conquer/mine/work_space/mongo--dbpath

官方README

COMPONENTS  bin/mongod - The database process.  bin/mongos - Sharding controller.  bin/mongo  - The database shell (uses interactive javascript).UTILITIES  bin/mongodump         - MongoDB dump tool - for backups, snapshots, etc..  bin/mongorestore      - MongoDB restore a dump  bin/mongoexport       - Export a single collection to test (JSON, CSV)  bin/mongoimport       - Import from JSON or CSV  bin/mongofiles        - Utility for putting and getting files from MongoDB GridFS  bin/mongostat         - Show performance statisticsRUNNING  For command line options invoke:    $ ./mongod --help  To run a single server database:    $ mkdir /data/db    $ ./mongod    $    $ # The mongo javascript shell connects to localhost and test database by default:    $ ./mongo     > helpDRIVERS  Client drivers for most programming languages are available at mongodb.org.  Use the   shell ("mongo") for administrative tasks.DOCUMENTATION  http://www.mongodb.org/

后台管理 Shell

如果你需要进入MongoDB后台管理，你需要先打开mongodb装目录的下的bin目录，然后执行mongo命令，

MongoDB Shell是MongoDB自带的交互式Javascript shell,用来对MongoDB进行操作和管理的交互式环境：

$ ./mongo……

由于它是一个JavaScript shell，您可以运行一些简单的算术运算:

> 2+24> 3+69

插入数据

> db.mydb.insert({a:1,b:2});WriteResult({ "nInserted" : 1 })> db.mydb.find(){ "_id" : ObjectId("58462273610c6eebe8b258fd"), "a" : 1, "b" : 2 }

MongoDb web 用户界面

MongoDB 提供了简单的 HTTP 用户界面。 如果你想启用该功能，需要在启动的时候指定参数 --rest 。

$ ./mongod --dbpath=/data/db --rest

MongoDB 的 Web 界面访问端口比服务的端口多1000。

如果你的MongoDB运行端口使用默认的27017，你可以在端口号为28017访问web用户界面，即地址为：http://localhost:28017。

深入学习

在shell交互窗口，执行 show dbs，显示所有数据库，执行 db 显示当前使用的数据库，运行"use"命令，可以连接到一个指定的数据库（如果不存在会自动创建，注意：只有在插入一些文档后show dbs才能看到use创建的数据库，db.dropDatabase()可删除当前数据库）。

在mongodb中基本的概念是文档、集合、数据库，下表将帮助您更容易理解Mongo中的一些概念：

SQL术语/概念MongoDB术语/概念解释/说明databasedatabase数据库tablecollection数据库表/集合rowdocument数据记录行/文档columnfield数据字段/域indexindex索引table joins 表连接,MongoDB不支持primary keyprimary key主键,MongoDB自动将_id字段设置为主键

集合就是 MongoDB 文档组，类似于 RDBMS （关系数据库管理系统：Relational Database Management System)中的表格。

集合存在于数据库中，集合没有固定的结构，这意味着你在对集合可以插入不同格式和类型的数据，但通常情况下我们插入集合的数据都会有一定的关联性。

比如，我们可以将以下不同数据结构的文档插入到集合中：

{"site":"www.baidu.com"}{"site":"www.google.com","name":"Google"}{"site":"www.runoob.com","name":"菜鸟教程","num":5}

当第一个文档插入时，集合就会被创建，删除一个集合（包括集合中的文档），使用：db.collection.drop()

MongoDB中常用的几种数据类型。

数据类型描述String字符串。存储数据常用的数据类型。在 MongoDB 中，UTF-8 编码的字符串才是合法的。Integer整型数值。用于存储数值。根据你所采用的服务器，可分为 32 位或 64 位。Boolean布尔值。用于存储布尔值（真/假）。Double双精度浮点值。用于存储浮点值。Min/Max keys将一个值与 BSON（二进制的 JSON）元素的最低值和最高值相对比。Arrays用于将数组或列表或多个值存储为一个键。Timestamp时间戳。记录文档修改或添加的具体时间。Object用于内嵌文档。Null用于创建空值。Symbol符号。该数据类型基本上等同于字符串类型，但不同的是，它一般用于采用特殊符号类型的语言。Date日期时间。用 UNIX 时间格式来存储当前日期或时间。你可以指定自己的日期时间：创建 Date 对象，传入年月日信息。Object ID对象 ID。用于创建文档的 ID。Binary Data二进制数据。用于存储二进制数据。Code代码类型。用于在文档中存储 JavaScript 代码。Regular expression正则表达式类型。用于存储正则表达式。

文档数据更新实例

只更新第一条记录：

db.col.update( { "count" : { $gt : 1 } } , { $set : { "test2" : "OK"} } );

全部更新：

db.col.update( { "count" : { $gt : 3 } } , { $set : { "test2" : "OK"} },false,true );

只添加第一条：

db.col.update( { "count" : { $gt : 4 } } , { $set : { "test5" : "OK"} },true,false );

全部添加加进去:

db.col.update( { "count" : { $gt : 5 } } , { $set : { "test5" : "OK"} },true,true );

全部更新：

db.col.update( { "count" : { $gt : 15 } } , { $inc : { "count" : 1} },false,true );

只更新第一条记录：

db.col.update( { "count" : { $gt : 10 } } , { $inc : { "count" : 1} },false,false );

MongoDB 查询文档

语法

MongoDB 查询数据的语法格式如下：

>db.COLLECTION_NAME.find()

find() 方法以非结构化的方式来显示所有文档。

如果你需要以易读的方式来读取数据，可以使用 pretty() 方法，语法格式如下：

>db.col.find().pretty()

pretty() 方法以格式化的方式来显示所有文档。

实例

以下实例我们查询了集合 col 中的数据：

> db.col.find().pretty(){        "_id" : ObjectId("56063f17ade2f21f36b03133"),        "title" : "MongoDB 教程",        "description" : "MongoDB 是一个 Nosql 数据库",        "by" : "菜鸟教程",        "url" : "http://www.runoob.com",        "tags" : [                "mongodb",                "database",                "NoSQL"        ],        "likes" : 100}

除了 find() 方法之外，还有一个 findOne() 方法，它只返回一个文档。

---

MongoDB 与 RDBMS Where 语句比较

如果你熟悉常规的 SQL 数据，通过下表可以更好的理解 MongoDB 的条件语句查询：

操作格式范例RDBMS中的类似语句等于{<key>:<value>}db.col.find({"by":"菜鸟教程"}).pretty()where by = '菜鸟教程'小于{<key>:{$lt:<value>}}db.col.find({"likes":{$lt:50}}).pretty()where likes < 50小于或等于{<key>:{$lte:<value>}}db.col.find({"likes":{$lte:50}}).pretty()where likes <= 50大于{<key>:{$gt:<value>}}db.col.find({"likes":{$gt:50}}).pretty()where likes > 50大于或等于{<key>:{$gte:<value>}}db.col.find({"likes":{$gte:50}}).pretty()where likes >= 50不等于{<key>:{$ne:<value>}}db.col.find({"likes":{$ne:50}}).pretty()where likes != 50

---

MongoDB AND 条件

MongoDB 的 find() 方法可以传入多个键(key)，每个键(key)以逗号隔开，及常规 SQL 的 AND 条件。

语法格式如下：

>db.col.find({key1:value1, key2:value2}).pretty()

实例

以下实例通过 by 和 title 键来查询 菜鸟教程 中 MongoDB 教程 的数据

> db.col.find({"by":"菜鸟教程", "title":"MongoDB 教程"}).pretty(){        "_id" : ObjectId("56063f17ade2f21f36b03133"),        "title" : "MongoDB 教程",        "description" : "MongoDB 是一个 Nosql 数据库",        "by" : "菜鸟教程",        "url" : "http://www.runoob.com",        "tags" : [                "mongodb",                "database",                "NoSQL"        ],        "likes" : 100}

以上实例中类似于 WHERE 语句：WHERE by='菜鸟教程' AND title='MongoDB 教程'

---

MongoDB OR 条件

MongoDB OR 条件语句使用了关键字 $or,语法格式如下：

>db.col.find(   {      $or: [     {key1: value1}, {key2:value2}      ]   }).pretty()

实例

以下实例中，我们演示了查询键 by 值为 菜鸟教程 或键 title 值为 MongoDB 教程 的文档。

>db.col.find({$or:[{"by":"菜鸟教程"},{"title": "MongoDB 教程"}]}).pretty(){        "_id" : ObjectId("56063f17ade2f21f36b03133"),        "title" : "MongoDB 教程",        "description" : "MongoDB 是一个 Nosql 数据库",        "by" : "菜鸟教程",        "url" : "http://www.runoob.com",        "tags" : [                "mongodb",                "database",                "NoSQL"        ],        "likes" : 100}>

---

AND 和 OR 联合使用

以下实例演示了 AND 和 OR 联合使用，类似常规 SQL 语句为： 'where likes>50 AND (by = '菜鸟教程' OR title = 'MongoDB 教程')'

>db.col.find({"likes": {$gt:50}, $or: [{"by": "菜鸟教程"},{"title": "MongoDB 教程"}]}).pretty(){        "_id" : ObjectId("56063f17ade2f21f36b03133"),        "title" : "MongoDB 教程",        "description" : "MongoDB 是一个 Nosql 数据库",        "by" : "菜鸟教程",        "url" : "http://www.runoob.com",        "tags" : [                "mongodb",                "database",                "NoSQL"        ],        "likes" : 100}

MongoDB Java

在 Java 程序中如果要使用 MongoDB，你需要确保已经安装了 Java 环境及 MongoDB JDBC 驱动。

网址：http://mongodb.github.io/mongo-java-driver/

<dependencies>    <dependency>        <groupId>org.mongodb</groupId>        <artifactId>mongodb-driver</artifactId>        <version>3.4.0</version>    </dependency></dependencies>

java示例代码：

import com.mongodb.MongoClient;import com.mongodb.client.FindIterable;import com.mongodb.client.MongoCollection;import com.mongodb.client.MongoCursor;import com.mongodb.client.MongoDatabase;import org.bson.Document;public class JDBCDriverTest {    public static void main(String[] args) {        try {            //连接到MongoDB服务 如果是远程连接可以替换“localhost”为服务器所在IP地址            //ServerAddress()两个参数分别为 服务器地址 和 端口//            ServerAddress serverAddress = new ServerAddress("localhost",27017);//            List<ServerAddress> addrs = new ArrayList<ServerAddress>();//            addrs.add(serverAddress);////            //MongoCredential.createScramSha1Credential()三个参数分别为 用户名 数据库名称 密码//            MongoCredential credential = MongoCredential.createScramSha1Credential("username", "databaseName", "password".toCharArray());//            List<MongoCredential> credentials = new ArrayList<MongoCredential>();//            credentials.add(credential);////            //通过连接认证获取MongoDB连接//            MongoClient mongoClient = new MongoClient(addrs,credentials);            //默认无需要密码，连接到数据库            MongoClient mongoClient = new MongoClient("localhost", 27017);            MongoDatabase mongoDatabase = mongoClient.getDatabase("test");            System.out.println("Connect to database successfully");//            mongoDatabase.createCollection("test");//            System.out.println("集合创建成功");//            Document document = new Document("title", "MongoDB").//                    append("description", "database").//                    append("likes", 100).//                    append("by", "Fly");//            List<Document> documents = new ArrayList<Document>();//            documents.add(document);//            collection.insertMany(documents);//            System.out.println("文档插入成功");            //更新文档   将文档中likes=100的文档修改为likes=200//            collection.updateMany(Filters.eq("likes", 100), new Document("$set",new Document("likes",200)));            //删除符合条件的第一个文档//            collection.deleteOne(Filters.eq("likes", 200));//            //删除所有符合条件的文档//            collection.deleteMany (Filters.eq("likes", 200));            MongoCursor<String> iterator = mongoDatabase.listCollectionNames().iterator();            while (iterator.hasNext()) {                String cName = iterator.next();                System.out.println("集合: " + cName);                MongoCollection<Document> collection = mongoDatabase.getCollection(cName);                FindIterable<Document> findIterable = collection.find();                MongoCursor<Document> mongoCursor = findIterable.iterator();                while (mongoCursor.hasNext()) {                    System.out.println(mongoCursor.next());                }            }        } catch (Exception e) {            System.err.println(e.getClass().getName() + ": " + e.getMessage());        }    }}

MongoDB Map Reduce

Map-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。

MongoDB提供的Map-Reduce非常灵活，对于大规模数据分析也相当实用。

---

MapReduce 命令

以下是MapReduce的基本语法：

>db.collection.mapReduce(   function() {emit(key,value);},  //map 函数   function(key,values) {return reduceFunction},   //reduce 函数   {      out: collection,      query: document,      sort: document,      limit: number   })

使用 MapReduce 要实现两个函数 Map 函数和 Reduce 函数,Map 函数调用 emit(key, value), 遍历 collection 中所有的记录, 将key 与 value 传递给 Reduce 函数进行处理。

Map 函数必须调用 emit(key, value) 返回键值对。

参数说明:

• map ：映射函数 (生成键值对序列,作为 reduce 函数参数)。
• reduce 统计函数，reduce函数的任务就是将key-values变成key-value，也就是把values数组变成一个单一的值value。。
• out 统计结果存放集合 (不指定则使用临时集合,在客户端断开后自动删除)。
• query 一个筛选条件，只有满足条件的文档才会调用map函数。（query。limit，sort可以随意组合）
• sort 和limit结合的sort排序参数（也是在发往map函数前给文档排序），可以优化分组机制
• limit 发往map函数的文档数量的上限（要是没有limit，单独使用sort的用处不大）

---

使用 MapReduce

考虑以下文档结构存储用户的文章，文档存储了用户的 user_name 和文章的 status 字段：

>db.posts.insert({   "post_text": "菜鸟教程，最全的技术文档。",   "user_name": "mark",   "status":"active"})WriteResult({ "nInserted" : 1 })>db.posts.insert({   "post_text": "菜鸟教程，最全的技术文档。",   "user_name": "mark",   "status":"active"})WriteResult({ "nInserted" : 1 })>db.posts.insert({   "post_text": "菜鸟教程，最全的技术文档。",   "user_name": "mark",   "status":"active"})WriteResult({ "nInserted" : 1 })>db.posts.insert({   "post_text": "菜鸟教程，最全的技术文档。",   "user_name": "mark",   "status":"active"})WriteResult({ "nInserted" : 1 })>db.posts.insert({   "post_text": "菜鸟教程，最全的技术文档。",   "user_name": "mark",   "status":"disabled"})WriteResult({ "nInserted" : 1 })>db.posts.insert({   "post_text": "菜鸟教程，最全的技术文档。",   "user_name": "runoob",   "status":"disabled"})WriteResult({ "nInserted" : 1 })>db.posts.insert({   "post_text": "菜鸟教程，最全的技术文档。",   "user_name": "runoob",   "status":"disabled"})WriteResult({ "nInserted" : 1 })>db.posts.insert({   "post_text": "菜鸟教程，最全的技术文档。",   "user_name": "runoob",   "status":"active"})WriteResult({ "nInserted" : 1 })

现在，我们将在 posts 集合中使用 mapReduce 函数来选取已发布的文章(status:"active")，并通过user_name分组，计算每个用户的文章数：

>db.posts.mapReduce(    function() { emit(this.user_name,1); },    function(key, values) {return Array.sum(values)},       {           query:{status:"active"},           out:"post_total"       })

以上 mapReduce 输出结果为：

{        "result" : "post_total",        "timeMillis" : 23,        "counts" : {                "input" : 5,                "emit" : 5,                "reduce" : 1,                "output" : 2        },        "ok" : 1}

结果表明，共有4个符合查询条件（status:"active"）的文档， 在map函数中生成了4个键值对文档，最后使用reduce函数将相同的键值分为两组。

具体参数说明：

• result：储存结果的collection的名字,这是个临时集合，MapReduce的连接关闭后自动就被删除了。
• timeMillis：执行花费的时间，毫秒为单位
• input：满足条件被发送到map函数的文档个数
• emit：在map函数中emit被调用的次数，也就是所有集合中的数据总量
• ouput：结果集合中的文档个数（count对调试非常有帮助）
• ok：是否成功，成功为1
• err：如果失败，这里可以有失败原因，不过从经验上来看，原因比较模糊，作用不大

使用 find 操作符来查看 mapReduce 的查询结果：

>db.posts.mapReduce(    function() { emit(this.user_name,1); },    function(key, values) {return Array.sum(values)},       {           query:{status:"active"},           out:"post_total"       }).find()

以上查询显示如下结果，两个用户 tom 和 mark 有两个发布的文章:

{ "_id" : "mark", "value" : 4 }{ "_id" : "runoob", "value" : 1 }

用类似的方式，MapReduce可以被用来构建大型复杂的聚合查询。

Map函数和Reduce函数可以使用 JavaScript 来实现，使得MapReduce的使用非常灵活和强大。

MongoDB GridFS

GridFS 用于存储和恢复那些超过16M（BSON文件限制）的文件(如：图片、音频、视频等)。

GridFS 也是文件存储的一种方式，但是它是存储在MonoDB的集合中。

GridFS 可以更好的存储大于16M的文件。

GridFS 会将大文件对象分割成多个小的chunk(文件片段),一般为256k/个,每个chunk将作为MongoDB的一个文档(document)被存储在chunks集合中。

GridFS 用两个集合来存储一个文件：fs.files与fs.chunks。

每个文件的实际内容被存在chunks(二进制数据)中,和文件有关的meta数据(filename,content_type,还有用户自定义的属性)将会被存在files集合中。