MongoDB分布式部署之分片配置

http://eshilin.blog.163.com/blog/static/13288033020106215227346/

MongoDB分布式部署之分片配置  

2010-07-21 17:22:07|  分类： mongodb |字号 订阅
这里介绍的是Mongodb的分片配置，如果想配置主主或主从对，以实现数据备份，可见mongodb分布式之数据复制。


1、启动相关进程
在shard server上启动mongod，使用--shardsvr 命令行参数。对于主从对，使用--pairwith命令行选项。建议一个shard server只运行一个mongod进程。


在config server上启动mongod，使用--configsvr命令行参数。如果config server不是一台独立的服务器，为其分配一个独立的dbpath，--dbpath命令行参数。


启动mongos，使用--configdb参数指明配置的数据库地址。


2、shell配置分片


      在启动好的mongos服务器上运行这些命令，然后通过它运行所有的配置命令。注：应该使用特定的admin数据库来存储这些命令，尽管通过mongos运行时，数据会存储在config server上，所以在集群的生命周期内这些命令只需运行一次即可。


./mongo <mongos-hostname>:<mongos-port>/admin
> db
admin
>


3、增加一个分片，每个分片包括两台服务器（一对主从）或单机（Alpha 2只支持单机）。


> db.runCommand( { addshard : "<serverhostname>[:<port>]" } );
{"ok" : 1 , "added" : ...}


多台配置用逗号分隔（alpha3及以上版本）。


可选参数maxSize可用户设置该分片可使用的磁盘空间，默认为整个磁盘。该参数目前1.4及1.4以前的版本是无效的，1.5版本及以后才会有效。


> db.runCommand( { listshards : 1 } );


查看已存在的分片。


4、enable一个数据库，必须为分片enable一个数据库，否则数据将全被存在分片上。


> db.runCommand( { enablesharding : "<dbname>" } );


一旦enable了个数据库，mongos将会把数据库里的不同数据集放在不同的分片上。除非数据集被分片，否则一个数据集的所有数据将放在一个分片上。


5、数据集分片，使用shardcollection 命令分隔数据集，key自动生成。


> db.runCommand( { shardcollection : "<namespace>",
key : <shardkeypatternobject>
} )


比如，分片测试数据库中的GridFS块集。


> db.runCommand( { shardcollection : "test.fs.chunks", key : { _id : 1 } } )
{"ok" : 1}


配置shard key唯一：


db.runCommand( { shardcollection : "test.users" , key : { email : 1 } , unique : true } );


6、案例：


两组分片（一组两台，一组一台）、三个config db、一个mongos，一台测试服务器。


首先建立数据库存放位置，这里只为测试，所以就在当前目录了，mkdir data
分别到mongodb的安装目录的bin/目录下启动mongodb
$ ./mongod --pairwith 10.13.127.212:18020 --dbpath data --port 18020    //启动第一组分片（10.13.127.211:18020）
$ ./mongod --pairwith 10.13.127.211:18020 --dbpath data --port 18020    //启动第一组分片（10.13.127.212:18020）
$  ./mongod --dbpath data --port 18020      //启动第二组分片（10.13.127.210:18020）
$ ./mongod --configsvr --dbpath  /var/mongodb/sky/18022 --port 18022       //启动config  server（10.13.127.210:18022，10.13.127.211:18022，10.13.127.212:18022）
$ ./mongos --configdb 10.13.127.210:18022,10.13.127.211:18022,10.13.127.212:18022    //启动mongos，指定config  server


ps：config server可以配置多台，mongos启动时指定config server，多个config server之间用英文逗号隔开，中间注意不要有空格，而且你会发现config server的台数只能为单数不能是双数。在这里需要提的是，v1.4有个bug，如果一开始就mongos配置多台config，是有问题的。这时你执行./mongo命令，在执行show dbs时就会报错：


JS Error: uncaught exception: error { "$err" : "mongos: SyncClusterConnection::call can't handle $cmd" }.


解决方案有两个：
1）启动mongos时先只连一台config，貌似是可以初始化一下config，然后kill掉mongos再启动连多台config，就OK了。
2）这个bug已经在nightly修正了，下载版本时下载v1.4的nightly版本就行了。
言归正传，服务启动好了之后，可使用 ps -ef|grep mongo查看运行情况，开始使用mongodb了。
$ ./mongo --host 10.13.127.211      // 连接到mongos上，可使用--port指定端口


> show dbs
admin
config
Local
> use admin
> db.runCommand( { addshard : "10.13.127.211:18020,10.13.127.212:18020", allowLocal : true } ) //增加第一组分片   
> db.runCommand( { addshard : "10.13.127.210:18020", allowLocal : true } )     //增加第二个分片


> db.runCommand({listshards:1})       //查看分片情况，会看到分片的信息，共两块


{
"_id" : ObjectId("4bd27bb39e2b00a5f7d5f0dd"),
"host" : "10.13.127.210:18020"
},
{
"_id" : ObjectId("4bd27bd39e2b00a5f7d5f0de"),
"host" : "10.13.127.211:18020,10.13.127.212:18020"
}


> config = connect("10.13.127.210:18022")         //连接config server，需要在mongos服务器上操作
> config = config.getSisterDB("config")    //获取配置信息


> test = db.getSisterDB("test")       //新增数据库test


> db.runCommand( { enablesharding : "test" } )
> db.runCommand( { shardcollection : "test.people", key : {name : 1} } )     //建立分片数据集people


> db.printShardingStatus();     //查看分片状态信息，会看到shards和databases的详细信息，包括刚建立的test的主分片信息和test.people的分片信息。


my chunks
{ "name" : "test", "partitioned" : true, "primary" : "10.13.127.211:18020,10.13.127.212:18020", "sharded" : { "test.people" : { "key" : { "name" : 1 }, "unique" : false } }, "_id" : ObjectId("4bd2813fbaaa646853a4b33a") }
my chunks
test.people { "name" : { $minKey : 1 } } -->> { "name" : { $maxKey : 1 } } on : 10.13.127.211:18020,10.13.127.212:18020 { "t" : 1272086852000, "i" : 1 }10.13.126.173:18020 { "t" : 1272086192000, "i" : 1 }


> use test     //进入test数据库
switched to db test
> db.createCollection("user_001")     //建立数据集user_001，该数据集与people数据集不一样，它不分片
{ "ok" : 1 }
> show collections     //查看数据集情况
people
system.indexes
user_001


> db.people.insert({name:"sky_people",sex:"male",age:25});      //插入一条记录了  
> db.people.find()
{ "_id" : ObjectId("4bbc38a39e8b5e76dcf4c5a3"), "name" : "sky_people", "sex" : "male", "age" : 25 }
> db.user_001.insert({name:"Falcon.C",sex:"male",age:25});    
> db.user_001.find();          //查看记录
{ "_id" : ObjectId("4bbc371c9e8b5e76dcf4c5a2"), "name" : "sky", "sex" : "female", "age" : 25 }


>db.people.stats()       //查看people数据集信息 ，刚才插入的数据放在 10.13.127.210:18020分片上                                                  
{
 "sharded" : true,
"ns" : "test.people",
"count" : 1,
"size" : 72,
"storageSize" : 8192,
"nindexes" : 2,
"nchunks" : 1,
"shards" : {
"10.13.127.211:18020,10.13.127.212:18020" : {
"ns" : "test.people",
"count" : 1,
……


> db.user_001.stats()       //查看user_001数据集信息   
{
"sharded" : false,
"ns" : "test.user_001",
"count" : 1,
"size" : 68,
……
}


当数据量增大到一定程度的时候（貌似是64M，即一个数据块的大小），数据块chunks开始分块，由一开始的一块变成多块时，数据块chunks就会开始迁移到其他分片了。


> db.printShardingStatus();   //查看分片状态信息


{ "name" : "test", "partitioned" : true, "primary" : "10.13.127.211:18020,10.13.127.212:18020", "sharded" : { "test.people" : { "key" : { "name" : 1 }, "unique" : false } }, "_id" : ObjectId("4bbc3524314b8edcaebd990f") }
my chunks
test.people { "name" : { $minKey : 1 } } -->> { "name" : 1103 } on : 10.13.127.211:18020,10.13.127.212:18020 { "t" : 1270627397000, "i" : 1 }
test.people { "name" : 1103 } -->> { "name" : 1259408 } on : 10.13.127.211:18020,10.13.127.212:18020 { "t" : 1270627921000, "i" : 2 }
test.people { "name" : "sky_people" } -->> { "name" : { $maxKey : 1 } } on : 10.13.127.210:18020 { "t" : 1270627404000, "i" : 3 }
test.people { "name" : 20130082 } -->> { "name" : 21392803 } on : 10.13.127.210:18020 { "t" : 1270627924000, "i" : 2 }
....


>db.people.stats()
{
"sharded" : true,
"ns" : "test.people",
"count" : 3384868,
"size" : 5293932968,
"storageSize" : 5942890496,
"nindexes" : 2,
"nchunks" : 33,
"shards" : {
"10.13.127.211:18020,10.13.127.212:18020" : {
"ns" : "test.people",
"count" : 3265179,
"size" : 5106739036,
"storageSize" : 5722345728,
"numExtents" : 32,
"nindexes" : 2,
"lastExtentSize" : 960247296,
"paddingFactor" : 1,
"flags" : 1,
"totalIndexSize" : 312467456,
"indexSizes" : {
"_id_" : 177045504,
"name_1" : 135421952
},
"ok" : 1
},
"10.13.127.210:18020" : {
"ns" : "test.people",
"count" : 119689,
"size" : 187193932,
"storageSize" : 220544768,
"numExtents" : 15,
"nindexes" : 2,
"lastExtentSize" : 43281920,
"paddingFactor" : 1,
"flags" : 1,
"totalIndexSize" : 12025856,
"indexSizes" : {
"_id_" : 7159808,
"name_1" : 4866048
},
"ok" : 1
}
},
"ok" : 1
}