MongoDB分片

通过分片能够增加更多的机器来应对不断增加的负载和数据，还不影响应用。分片（sharding）是指将数据拆分，将其分散到不同的机器上，不需要功能强大的大型计算机就可以存储更多的数据，处理更大的负载。

    MongoDB支持自动分片，可以摆脱手动分片的管理困扰，集群自动切分数据，做负载均衡。分片的基本思想就是将集合切分成小块，这些块分散到若干片里面，每个片只负责总数据的一部分。应用程序不必知道哪片对应哪些数据，甚至不知道数据已经拆分，所以在分片之前要运行一个路由进程（mongos），这个路由知道所有数据的存放位置，所以应用可以连接它来正常发送请求。对应用来说，它仅知道连接了一个普通的mongod。路由器知道数据和片的对应关系，能够转发请求到正确的片上。如果请求有了回应，路由器将其收集起来会送给应用。

    在没有分片的时候，客户端连接mongod进程；分片时，客户端连接mongos进程，mongos对应用隐藏了分片的细节。从应用角度看，分片不分片没什么差别，所以需要扩展的时候，不必修改应用程序的代码。

     何时分片：

    （1）机器的磁盘不够用了

    （2）单个mongod已经不能满足写数据的性能需求

    （3）想将大量数据放在内存中提高性能

    一般来说，先要从不分片开始，在需要时将其转换成分片的。

1、片键

    设置分片时，需要从集合里选一个键，作为数据拆分的依据，这个键称为片键（shard key）。

    例如，文档集合表示的是人员，如果选择名字（name）为片键，第一片可能会存放以A-F开头的文档，第二片存G-P的名字，第三片存Q-Z的名字。随着添加或者删除片，MongoDB会重新平衡数据，使每片的流量都比较均衡，数据量也在合理范围内（例如，流量大的片存放的数据或许会比流量小的书数据量要要少些）。

1.1、将已有的集合分片

    假设有个存储日志的集合，现在要分片。我们开启分片功能，然后告诉MongoDB用"timestamp"作为片键，就是所有数据放到了一个片上。可以随意插入数据，但总会是在一个片上。然后，新增一个片。这个片建好并运行了以后，MongoDB就会把集合拆分成两半，成为块。每个块中包含片键值在一定范围内的所有文档，假设其中一块包含时间戳在2015.11.11前的文档，则另一块含有2015.11.11以后的文档。其中一块会被移动到新片上。如果新文档的时间戳在2015.11.11之前，则添加到第一块，否则添加到第二块。

1.2、递增片键还是随机片键

    片键的选择决定了插入操作在片之间的分布。如果选择了像"timestamp"这样的键，这个值可能不断增长，而且没有太大的间断，就会将所有数据发送到一个片上(含有2015.11.11以后日期的那片)。如果又添加了新片，再拆分数据，还是会都导入到一台服务器上。添加了新片，MongoDB肯能会将2011.11.11以后的拆分成2011.11.11-2021.11.11。如果文档的时间大于2021.11.11以后，所有的文档还会以最后一片插入。这就不适合写入负载很高情况，但按照片键查询会非常高效。如果写入负载比较高，想均匀分散负载到各个片，就得选择分布均匀的片键。日志例子中时间戳的散列值，没有模式的"logMessage"都是复合这个条件的。

    不论片键随机跳跃还是稳定增加，片键的变化很重要。如，如果有个"logLevel"键的值只有3种值"DEBUG"，"WARN"，"ERROR"，MongoDB无论如何也不能把它作为片键将数据分成多于3块(因为只有3个值)。如果键的变化太少，但又想让其作为片键，可以把这个键与一个变化较大的键组合起来，创建一个复合片键，如"logLevel"和"timestamp"组合。

    选择片键并创建片键很像索引，因为二者原理相似。事实上，片键也是最常用的索引。

1.3、片键对操作的影响

    最终用户应该无法区分是否分片，但是要了解选择不同片键情况下的查询有何不同。

    假设还是那个表示人员的集合，按照"name"分片，有3个片，其名字首字母的范围是A-Z.下面以不同的方式查询:

db.people.find({"name":"Refactor"})

mongos会将这个查询直接发送给Q-Z片，获得响应后，直接转发给客户端

db.people.find({"name":{"$lt":"L"}})

mongos会将其先发送给A-F和G-P片，然后将结果转发给客户端.

db.people.find().sort({"email":1})

mongos会在所有片上查询，返回结果时还会做归并排序，确保结果顺序正确.

mongos用游标从各个服务器上获取数据，所以不必等到全部数据都拿到才向客户端发送批量结果.

db.people.find({"email":"[e-mail]"})

mongos并不追踪"email"键，所以也不知道应该将查询发给那个片.所以他就向所有片顺序发送查询.

如果是插入文档，mongos会依据"name"键的值，将其发送到相应的片上.

2、建立分片

    建立分片分两步：启动实际的服务器和切分数据。

分片一般会有3个组成部分:

    （1）片

    片就是保存子集合数据的容器，片可是单个的mongod服务器(开发和测试用)，也可以是副本集(生产用)。所以一片有多台服务器，也只能有一个主服务器，其他的服务器保存相同的数据。

    （2）mongos

    mongos就是MongoDB配的路由器进程。它路由所有的请求，然后将结果聚合。它本身并不存储数据或者配置信息，但会缓存配置服务器的信息。

    （3）配置服务器

    配置服务器存储了集群的配置信息:数据和片的对应关系。mongos不永久存放数据，所以需要个地方存放分片的配置。它会从配置服务器获取同步数据。

    如果已经能用了MongoDB,就有了一个整装待发的片了（当前的mongod可以变成第一个片）。

2.1、启动服务器

2.1.1、启动配置服务器

    配置服务器需要最先启动，因为mongos会用到其上的配置信息。配置服务器的启动就像普通mongod一样。

[root@gflinux102 master]# mkdir -p /opt/mongo/config

[root@gflinux102 ~]# mongod --dbpath /opt/mongo/config/ --port 20000

    配置服务器不需要很多空间和资源（200MB实际数据大约占用1KB的配置空间）

2.1.2建立mongos进程（应用程序连接）

    这种路由服务器不需要数据目录，但是一定要指明配置服务器的位置。

[root@gflinux102 ~]# mongos --port 30000 --configdb localhost:20000

    分片管理是通过mongos来完成的。

2.1.3、添加片

    片就是普通的mongod实例（或者副本集）：

[root@gflinux102 master]# mkdir -p /opt/mongo/shard1

[root@gflinux102 ~]# mongod --dbpath /opt/mongo/shard1/ --port 10000

    连接mongos，为集群添加一个片。启动shell，连接mongos：

[root@gflinux102 ~]# mongo localhost:30000/admin

MongoDB shell version: 2.6.6

connecting to: localhost:30000/admin

mongos> 

    通过addshard命令添加片：

mongos> db.runCommand({addshard:"localhost:10000",allowLocal:true})

{ "shardAdded" : "shard0000", "ok" : 1 }

mongos> 

    再增加一个片：

[root@gflinux102 master]# mkdir -p /opt/mongo/shard2

[root@gflinux102 ~]# mongod --dbpath /opt/mongo/shard2 --port 10001

mongos> db.runCommand({addshard:"localhost:10001",allowLocal:true})

{ "shardAdded" : "shard0001", "ok" : 1 }

    当在localhost运行片时，得设定"allowLocal"键。MongoDB尽量避免由于错误配置，将集群配置到本地。

    想添加片的时候，就运行addshard，MongoDB会负责将片集成到集群。

2.2、切分数据

    MongoDB不会将存储的每一条数据都直接发布，得先在数据库和集合的级别将分片功能打开。下面以"_id"为基准切分test数据库的rgf集合。

2.2.1、开启数据库的分片功能

    分片功能的开启是在哪个服务器上哪？

    首先在配置服务器上运行：

[root@gflinux102 master]# mongo localhost:20000

MongoDB shell version: 2.6.6

connecting to: localhost:20000/test

Server has startup warnings: 

> use admin

switched to db admin

> db.runCommand({"enablesharding":"test"})

{

"ok" : 0,

"errmsg" : "no such cmd: enablesharding",

"code" : 59,

"bad cmd" : {

"enablesharding" : "test"

}

}

> 

    配置服务器没有该命令。

    （1）在路由服务器上对数据库启用分片功能（"enablesharding"）

    在路由服务器上运行：

mongos> db.runCommand({"enablesharding":"test"})

{ "ok" : 1 }

mongos> 

    将test数据库启用分片功能，对数据库分片后，其内部的集合便会存储到不同的片上，同时这也是对这些集合分片的前置条件。

    （2）堆积和进行分片（"shardcollection"）

    在数据库级别启用了分片以后，就可以使用shardcollection命令堆积和进行分片：

mongos> db.runCommand({"shardcollection":"test.rgf","key":{"name":1}})

{

"proposedKey" : {

"name" : 1

},

"curIndexes" : [

{

"v" : 1,

"key" : {

"_id" : 1

},

"name" : "_id_",

"ns" : "test.rgf"

}

],

"ok" : 0,

"errmsg" : "please create an index that starts with the shard key before sharding."

}

    出现这种情况，需要在片上的集合中创建文档：

> db.rgf.ensureIndex({"name":1})

{

"createdCollectionAutomatically" : false,

"numIndexesBefore" : 1,

"numIndexesAfter" : 2,

"ok" : 1

}

    再次运行分片命令：

mongos> db.runCommand({"shardcollection":"test.rgf","key":{"name":1}})

{ "collectionsharded" : "test.rgf", "ok" : 1 }

    对test数据库的rgf集合进行分片，片键name，如果对rgf集合添加数据，就会依据"name"的值自动分散到各个片上。

    注意：插入数据在mongos端插入。

3、生产配置

    成功地构建分片需要如下条件：

    （1）多个配置服务器

    （2）多个mongos服务器

    （3）每个片都是副本集

    （4）正确设置w

3.1、配置多个配置服务器

    建立多个配置服务器非常简单：

[root@gflinux102 master]# mkdir -p /opt/mongo/config{1,2,3}

[root@gflinux102 ~]# mongod --dbpath /opt/mongo/config1/ --port 20001

[root@gflinux102 ~]# mongod --dbpath /opt/mongo/config2/ --port 20002

[root@gflinux102 ~]# mongod --dbpath /opt/mongo/config3/ --port 20003

    启动mongos时应将其连接到这3个配置服务器中：

[root@gflinux102 ~]# mongos --configdb localhost:20001,localhost:20002,localhost:20003

    配置服务器使用的是两步提交机制，而不是普通MongoDB的异步复制来维护集群的不同副本，这样能保证集群状态的一致性。这也意味着，某台配置服务器宕掉了以后，集群配置信息将是只读的。客户端还是能够读写，但是只有所有配置服务器备份了以后才能均衡数据。

3.2、多个mongos

    mongos的数量不受限制。建议针对一个应用只运行一个mongos进程，这样每个应用服务器就可以与mongos进行本地会话，如果服务器不工作了，就不会有应用试图与不存在的monges通话。