技术分享——mongodb（2）

来填坑了！

ps.本次分享整理自imooc，菜鸟教程和无限百度

这次想说的是分片

定义：将数据进行拆分，按数据水平分散到不用的服务器上

 

为什么要分片：改善单台机器数据的存储及数据吞吐性能，提高在大数据下随机访问的性能

什么时候用分片：

1.硬件、部署瓶颈

2.性能

和复制集对比：

 

节点成员介绍：

1.Shard节点:存储数据的节点（单个mongod或者复制集）

2.Config server：存储元数据，为mongos服务，将数据路由到shard

3.Mongos：接入前端请求，进行对应消息路由

三者之间的关联

 

成员节点启动参数：

1.shard节点：

（1）mongod --shardsvr

（2）mongod --shardsvr --rpelSet（副本集）

2.config server：mongod --configsvr

3.mongos --configdb<configdb server>

 

 

Mongo分片实战

1.准备材料

（1）一堆conf

 

（1）三个shard节点（28010~28012.conf）

 

（2）一个config节点用（28013.conf）

 

（3）一个mongos节点（28014.conf）

 

2.开启节点

（1）开启shard节点

sudo mongod -f /var/lib/mongodb/conf/28010.conf

sudo mongod -f /var/lib/mongodb/conf/28011.conf

sudo mongod -f /var/lib/mongodb/conf/28012.conf

（2）开启config节点

sudo mongod -f /var/lib/mongodb/conf/28013.conf

（3）开启mongos节点

sudo mongos -f /var/lib/mongodb/conf/28014.conf

3.进入mongos节点

sudo mongo 192.168.74.138:28014

4.添加分片

use admin

db.runCommand（{addshard:”192.168.74.138:28010”}）;

db.runCommand（{addshard:”192.168.74.138:28011”}）;

db.runCommand（{addshard:”192.168.74.138:28012”}）;

5.指定要分片的数据库

db.runCommand({enablesharding:”test”})

6.指定要分片的集合和指定分片片键

db.runCommand({ shardcollection: "test.user_id", key: {“user_id”:1}})

7.插入数据

use shardtest

For(var i=1;i<1000000;i++){db.userid.insert({“user_id”:i})}

8.查看分片状态

db.printShardingStatus()

 

可以看到在三个分片里面都插入了数据

#success

 

分片片键：集合里面选一个键，用该键的值作为数据拆分的依据

Chunk：mongodb分片后，存储数据的单元块，默认64M，超过最大值后拆分并且拆分信息保存到config服务器

哈希分片：能让数据分布更加均衡

Eg.

//插入数据

Use shardtest

Db.userid_hash.insert({“user_id”:11})

Db.userid_hash.insert({“user_id”:22})

//为userid_hash集合设置哈希分片

Use admin

 

//写入测试数据

for(i=0;i<100000;i++){db.userid_hash.insert({"user_id":i})}

//查看状态

db.userid_hash.stats()

{"sharded" : true,"ns" : "shardtest.userid_hash","count" : 100000,"numExtents" : 15,"size" : 4000048,"storageSize" : 8380416,"totalIndexSize" : 8086064,"indexSizes" : {"_id_" : 3262224,"user_id_hashed" : 4823840},"avgObjSize" : 40.00048,"nindexes" : 2,"nchunks" : 6,"shards" : {"shard0000" : {"ns" : "shardtest.userid_hash","count" : 33755,"size" : 1350216,"avgObjSize" : 40.00047400385128,"storageSize" : 2793472,"numExtents" : 5,"nindexes" : 2,"lastExtentSize" : 2097152,"paddingFactor" : 1,"systemFlags" : 1,"userFlags" : 0,"totalIndexSize" : 2755312,"indexSizes" : {"_id_" : 1103760,"user_id_hashed" : 1651552},"ok" : 1},"shard0001" : {"ns" : "shardtest.userid_hash","count" : 33142,"size" : 1325696,"avgObjSize" : 40.00048277110615,"storageSize" : 2793472,"numExtents" : 5,"nindexes" : 2,"lastExtentSize" : 2097152,"paddingFactor" : 1,"systemFlags" : 1,"userFlags" : 0,"totalIndexSize" : 2681728,"indexSizes" : {"_id_" : 1079232,"user_id_hashed" : 1602496},"ok" : 1},"shard0002" : {"ns" : "shardtest.userid_hash","count" : 33103,"size" : 1324136,"avgObjSize" : 40.00048333987856,"storageSize" : 2793472,"numExtents" : 5,"nindexes" : 2,"lastExtentSize" : 2097152,"paddingFactor" : 1,"systemFlags" : 1,"userFlags" : 0,"totalIndexSize" : 2649024,"indexSizes" : {"_id_" : 1079232,"user_id_hashed" : 1569792},"ok" : 1}},"ok" : 1}

 

可以看到三个成员的数据分布比较均衡

如何选择合适的片键：

（1）数据块大小（避免选择重复量大的key当作片键，避免按照片键分出来的数据块大小不均衡）

（2）数据写均匀分布（避免选择单调递增的key当作片键，因为这样会导致写操作都在最后一个副本集中添加数据，例如_id和时间，可以考虑用哈希分片）

讲完！溜了溜了。。。