13、MongoDB的分片,以及分布式的实现(分片,拆分的是集合,不是单条数据)
来源:互联网 发布:mac上如何卸载软件 编辑:程序博客网 时间:2024/05/22 04:49
1、分片(sharding)
分片,是指将数据拆分,将其分散存在不同的机器上的过程。 有时也用分区(partitioning)来表示这个概念。将数据分散到不同的机器上,不需要功能强大的大型计算机就可以储存更多的数据,处理更多的负载。
2、MongoDB分片的基本思想就是将集合切分成小块。
这些块分散到若干片里面,每个片只负责总数据的一部分。 应用程序不必知道哪片对应哪些数据,甚至不需要知道数据已经被拆分了。所以在分片之前要运行一个路由进程,该进程名为mongos。这个路由器知道所有数据的存放位置,所以应用可以连接它来正常发送请求。 对应用来说,它仅知道连接了一个普通的mongod。路由器知道数据和片的对应关系,能够转发请求到正确的片上。如果请求有了回应,路由器将其收集起来回送给应用。
3、 设置分片时,需要从集合里面选一个键,用该键的值作为数据拆分的依据。这个键称为片键(shard key)。
{name:"zhangsan",age:1}
用个例子来说明这个过程:
假设有个文档集合表示的是人员。如果选择名字("name")作为片键,
第一片可能会存放名字以A~F开头的文档,
第二片存的G~P的名字,第三片存的Q~Z的名字。
随着添加或者删除片,MongoDB会重新平衡数据,使每片的流量都比较均衡,数据量也在合理范围内。
4、MongoDB分片实现分布式的案例
1、在创建四个目录,分别存放三个mongod服务的数据文件和config服务的数据文件
2、开启config服务器 。mongos要把mongod之间的配置放到config服务器里面,所以首先开启它,这里就使用2222端口。
mongod --dbpath D:\mongodb\config --port 22223、开启mongos服务器 。这里要注意的是我们开启的是mongos,端口3333,同时指定下config服务器
mongos --port 3333 --configdb=127.0.0.1:22224、启动mongod服务器 。对分片来说,也就是要添加片了,这里开启三个mongod服务,端口分别为:4444,5555,6666。
mongod --dbpath D:\mongodb\node4444 --port 4444mongod --dbpath D:\mongodb\node5555 --port 5555 mongod --dbpath D:\mongodb\node6666 --port 66665、服务配置 。client直接跟mongos打交道,也就说明我们要连接mongos服务器,然后将4444,5555,6666的mongod交给mongos,添加分片也就是addshard()。
mongo localhost:3333/admin #client直接跟mongos打交道db.runCommand({"addshard":"127.0.0.1:4444",allowLocal:true})db.runCommand({"addshard":"127.0.0.1:5555",allowLocal:true})db.runCommand({"addshard":"127.0.0.1:6666",allowLocal:true})
6、开启数据库分片功能,命令很简单enablesharding(),这里就开启test数据库
db.runCommand({"enablesharding":"test"})7、指定集合中分片的片键,这里就指定为person.name键
db.runCommand({"shardcollection":"test.person","key":{"name":1}})
8、通过客户端,连接mongos,然后通过mongos插入10w记录,然后通过printShardingStatus命令查看mongodb的数据分片情况
mongos > use testmongos > for ( var i=0; i<=100000;i++){ db.person.insert({name:"tom","age":i}) }mongos > db.printShardingStatus()
9、查看数据的分片情况
mongo localhost:4444/testdb.person.find().count()mongo localhost:5555/testdb.person.find().count() mongo localhost:6666/testdb.person.find().count()
1 0
- 13、MongoDB的分片,以及分布式的实现(分片,拆分的是集合,不是单条数据)
- Mongodb数据分片的实现
- Mongodb数据分片的实现(优秀)
- mongodb分片集群的管理命令集合
- mongodb 分片的思考
- mongodb的sharding(分片)
- Mongodb的分片部署
- mongodb 分片的思考
- (*)Mongodb的分片配置
- mongodb的分片
- mongoDB 分片的管理
- MongoDB的分片
- MongoDB的分片
- MongoDB的分片测试
- MongoDB分片的搭建
- MongoDB的分片集群
- mongodb的分片
- MongoDB的分片
- 用php写ftp爬虫
- Android实现App会话超时退出设计
- python的time模块
- 接口测试相关文档管理规范
- 用opencv保存视频为什么打不开?
- 13、MongoDB的分片,以及分布式的实现(分片,拆分的是集合,不是单条数据)
- springmvc 常用的绑定参数用法
- 仿微信的语音点击播放时的语音图标动画效果
- 查找内存泄漏的一个思路
- html元素
- tableView高度自适应
- Java高级之Lock&Condition实现线程同步通信
- 对象信息生成Json串
- jdk,tomcat在myeclipse以及eclipse中的安装和配置