MongoDB 3.4 集群搭建
来源:互联网 发布:南京厚德软件 编辑:程序博客网 时间:2024/05/18 01:11
MongoDB 集群搭建
概念理解
从图中可以看到有四个组件:mongos、config server、shard、replica set。
mongos,数据库集群请求的入口,所有的请求都通过mongos进行协调,不需要在应用程序添加一个路由选择器,mongos自己就是一个请求分发中心,它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口,防止其中一个挂掉所有的mongodb请求都没有办法操作。
config server,顾名思义为配置服务器,存储所有数据库元信息(路由、分片)的配置。mongos本身没有物理存储分片服务器和数据路由信息,只是缓存在内存里,配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息,以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态,这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器,因为它存储了分片路由的元数据,防止数据丢失!
shard,分片(sharding)是指将数据库拆分,将其分散在不同的机器上的过程。将数据分散到不同的机器上,不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块,这些块分散到若干片里,每个片只负责总数据的一部分,最后通过一个均衡器来对各个分片进行均衡(数据迁移)。
replica set,中文翻译副本集,其实就是shard的备份,防止shard挂掉之后数据丢失。复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性, 并可以保证数据的安全性。
仲裁者(Arbiter),是复制集中的一个MongoDB实例,它并不保存数据。仲裁节点使用最小的资源并且不要求硬件设备,不能将Arbiter部署在同一个数据集节点中,可以部署在其他应用服务器或者监视服务器中,也可部署在单独的虚拟机中。为了确保复制集中有奇数的投票成员(包括primary),需要添加仲裁节点做为投票,否则primary不能运行时不会自动切换primary。
简单了解之后,我们可以这样总结一下,应用请求mongos来操作mongodb的增删改查,配置服务器存储数据库元信息,并且和mongos做同步,数据最终存入在shard(分片)上,为了防止数据丢失同步在副本集中存储了一份,仲裁在数据存储到分片的时候决定存储到哪个节点。
环境准备
- 系统:CentOS 7.4
- 服务器:192.168.16.150、192.168.16.151、192.168.16.152
- 安装包:mongodb-linux-x86_64-rhel70-3.4.9.tgz
服务器规划:
端口分配:
mongos:20000config:21000shard1:27001shard2:27002shard3:27003
集群搭建
一、安装MongoDB
# 下载 MongoDB$ cd /opt$ wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-3.4.9.tgz# 解压$ tar -zxvf mongodb-linux-x86_64-rhel70-3.4.9.tgz$ ln -s /opt/mongodb-linux-x86_64-rhel70-3.4.9 /opt/mongodb# 创建目录$ mkdir -p /opt/mongodb/conf$ mkdir -p /data/mongodb/mongos/log$ mkdir -p /data/mongodb/{config,shard1,shard2,shard3}/{data,log}# 配置环境变量$ vim /etc/profile.d/mongodb.sh#!/bin/bashexport MONGODB_HOME=/opt/mongodbexport PATH=$PATH:$MONGODB_HOME/bin$ source /etc/profile.d/mongodb.sh# 验证$ mongod -version
二、Config Server 配置
1. 配置并启动服务
$ vim /opt/mongodb/conf/config.confsharding: clusterRole: configsvrreplication: replSetName: config # logsystemLog: destination: file logAppend: true path: /data/mongodb/config/log/config.log# datastorage: dbPath: /data/mongodb/config/data journal: enabled: true# processprocessManagement: fork: true pidFilePath: /var/run/configsrv.pid# networknet: port: 21000 bindIp: 192.168.16.150
更多参数配置请参阅:参数配置
注意修改bindIp
,并在三台服务器上启动 Config Server 服务
$ mongod --config /opt/mongodb/conf/config.conf
2. 连接并配置服务
选择任意服务器进行连接
$ mongo --host 192.168.16.150 --port 21000
使用 rs.initiate() 方法来初始化
_id
:必须匹配配置的 replication.replSetName 值member
:全部的副本集configsvr
:对于 config server 副本集,该值必须为 true
# 初始化副本集> rs.initiate( { _id: "config", configsvr: true, members: [ { _id : 0, host : "192.168.16.150:21000" }, { _id : 1, host : "192.168.16.151:21000" }, { _id : 2, host : "192.168.16.152:21000" } ] })# 查看分区状态> rs.status()# 退出> quit()
三、Shard 配置
1. 配置并启动服务
# 配置$ vim /opt/mongodb/conf/shard1.confsharding: clusterRole: shardsvrreplication: replSetName: shard1# logsystemLog: destination: file logAppend: true path: /data/mongodb/shard1/log/shard1.log# datastorage: dbPath: /data/mongodb/shard1/data journal: enabled: true wiredTiger: engineConfig: cacheSizeGB: 1# processprocessManagement: fork: true pidFilePath: /var/run/shard1.pid# networknet: port: 27001 bindIp: 192.168.16.150
更多参数配置请参阅:参数配置
注意修改bindIp
,并在三台服务器上启动 Shard 服务
$ mongod --config /opt/mongodb/conf/shard1.conf
2. 连接并配置服务
选择任意服务器进行连接
$ mongo --host 192.168.16.150 --port 27001
使用 rs.initiate() 方法来初始化
_id
:必须匹配配置的 replication.replSetName 值member
:全部的副本集
# 使用 admin 数据库> use admin# 初始化副本集,第三个节点的 "arbiterOnly":true 代表其为仲裁节点> rs.initiate( { _id: "shard1", members: [ { _id : 0, host : "192.168.16.150:27001" }, { _id : 1, host : "192.168.16.151:27001" }, { _id : 2, host : "192.168.16.152:27001", arbiterOnly: true } ] })# 查看分区状态> rs.status()# 退出> quit()
到这,shard1 就配置好了,shard2 和 shard3 的操作基本一样,如下:
Shard2(注意修改bindIp
)
$ vim /opt/mongodb/conf/shard2.confsharding: clusterRole: shardsvrreplication: replSetName: shard2# logsystemLog: destination: file logAppend: true path: /data/mongodb/shard2/log/shard2.log# datastorage: dbPath: /data/mongodb/shard2/data journal: enabled: true wiredTiger: engineConfig: cacheSizeGB: 1# processprocessManagement: fork: true pidFilePath: /var/run/shard2.pid# networknet: port: 27002 bindIp: 192.168.16.150$ mongod --config /opt/mongodb/conf/shard2.conf$ mongo --host 192.168.16.150 --port 27002> use admin> rs.initiate( { _id: "shard2", members: [ { _id : 0, host : "192.168.16.150:27002", arbiterOnly: true }, { _id : 1, host : "192.168.16.151:27002" }, { _id : 2, host : "192.168.16.152:27002" } ] })
Shard3(注意修改bindIp
)
$ vim /opt/mongodb/conf/shard3.confsharding: clusterRole: shardsvrreplication: replSetName: shard3# logsystemLog: destination: file logAppend: true path: /data/mongodb/shard3/log/shard3.log# datastorage: dbPath: /data/mongodb/shard3/data journal: enabled: true wiredTiger: engineConfig: cacheSizeGB: 1# processprocessManagement: fork: true pidFilePath: /var/run/shard3.pid# networknet: port: 27003 bindIp: 192.168.16.150$ mongod --config /opt/mongodb/conf/shard3.conf$ mongo --host 192.168.16.150 --port 27003> use admin> rs.initiate( { _id: "shard3", members: [ { _id : 0, host : "192.168.16.150:27003" }, { _id : 1, host : "192.168.16.151:27003", arbiterOnly: true }, { _id : 2, host : "192.168.16.152:27003" } ] })
四、Mongos 配置
1. 配置并启动服务
# 配置$ vim /opt/mongodb/conf/mongos.confsharding: configDB: config/192.168.16.150:21000,192.168.16.151:21000,192.168.16.152:21000# logsystemLog: destination: file logAppend: true path: /data/mongodb/mongos/log/mongos.log# processprocessManagement: fork: true pidFilePath: /var/run/mongos.pid# networknet: port: 20000 bindIp: 192.168.16.150
更多参数配置请参阅:参数配置
注意修改bindIp
,并在三台服务器上启动 Mongos 服务
$ mongos --config /opt/mongodb/conf/mongos.conf
2. 连接并配置服务
选择任意服务器进行连接
$ mongo --host 192.168.16.150 --port 20000
使用 rs.initiate() 方法来初始化
_id
:必须匹配配置的 replication.replSetName 值member
:全部的副本集configsvr
:对于 config server 副本集,该值必须为 true
# 使用 admin 数据库> use admin# 串联路由服务器与分配副本集> sh.addShard("shard1/192.168.16.150:27001,192.168.16.151:27001,192.168.16.152:27001")> sh.addShard("shard2/192.168.16.150:27002,192.168.16.151:27002,192.168.16.152:27002")> sh.addShard("shard3/192.168.16.150:27003,192.168.16.151:27003,192.168.16.152:27003")# 查看集群状态> sh.status()--- Sharding Status --- sharding version: { "_id" : 1, "minCompatibleVersion" : 5, "currentVersion" : 6, "clusterId" : ObjectId("59ca06fabd3d4cb527e9368d")} shards: { "_id" : "shard1", "host" : "shard1/192.168.16.150:27001,192.168.16.151:27001", "state" : 1 } { "_id" : "shard2", "host" : "shard2/192.168.16.151:27002,192.168.16.152:27002", "state" : 1 } { "_id" : "shard3", "host" : "shard3/192.168.16.150:27003,192.168.16.152:27003", "state" : 1 } active mongoses: "3.4.9" : 1 autosplit: Currently enabled: yes balancer: Currently enabled: yes Currently running: no Balancer lock taken at Tue Sep 26 2017 15:51:24 GMT+0800 (CST) by ConfigServer:Balancer Failed balancer rounds in last 5 attempts: 0 Migration Results for the last 24 hours: No recent migrations databases: { "_id" : "test", "primary" : "shard3", "partitioned" : false }# 退出> quit()
使数据库分片生效
首先必须连接到 mongos 服务,而为了让集合(collection)能够分片,先必须使得集合对应的数据库分片生效,数据库分片生效后,并不会重新分配数据,而是使得数据库中集合的分片成为可能。
使用 sh.enableSharding() 方法让指定数据库分片生效
> sh.enableSharding("xxxx")
五、测试
# 让指定数据库和指定的集合分片生效$ mongo --host 192.168.16.150 --port 20000> sh.enableSharding("testdb")> sh.shardCollection("testdb.table1", {id: 1})# 测试$ mongo 192.168.16.150:20000> use testdb# 插入测试数据(当数据量未达到阈值时,是不会进行分割和迁移的)> for (var i = 1; i <= 2000000; i++) db.table1.save({id: i, "test1": "testval1"})# 查看分片情况> db.table1.stats()mongos> db.table1.stats()mongos> db.table1.stats(){ "sharded" : true, "capped" : false, "ns" : "testdb.table1", "count" : 2000001, "size" : 107000053, "storageSize" : 38379520, "totalIndexSize" : 51064832, "indexSizes" : { "_id_" : 21872640, "id_1" : 29192192 }, "avgObjSize" : 53.37500081249959, "nindexes" : 2, "nchunks" : 7, "shards" : { "shard1" : { "ns" : "testdb.table1", "size" : 27000054, "count" : 500001, "avgObjSize" : 54, "storageSize" : 8605696, "capped" : false, "nindexes" : 2, "totalIndexSize" : 11132928, "indexSizes" : { "_id_" : 4755456, "id_1" : 6377472 }, "ok" : 1 }, "shard2" : { "ns" : "testdb.table1", "size" : 66499945, "count" : 1249999, "avgObjSize" : 53, "storageSize" : 25427968, "capped" : false, "nindexes" : 2, "totalIndexSize" : 34476032, "indexSizes" : { "_id_" : 14802944, "id_1" : 19673088 }, "ok" : 1 }, "shard3" : { "ns" : "testdb.table1", "size" : 13500054, "count" : 250001, "avgObjSize" : 54, "storageSize" : 4345856, "capped" : false, "nindexes" : 2, "totalIndexSize" : 5455872, "indexSizes" : { "_id_" : 2314240, "id_1" : 3141632 }, "ok" : 1 } }, "ok" : 1}
后期运维
一、启动及关闭
mongodb的启动顺序是,先启动配置服务器,再启动分片,最后启动mongos
$ mongod --config /opt/mongodb/conf/config.conf$ mongod --config /opt/mongodb/conf/shard1.conf$ mongod --config /opt/mongodb/conf/shard2.conf$ mongod --config /opt/mongodb/conf/shard3.conf$ mongos --config /opt/mongodb/conf/mongos.conf
关闭时,直接killall杀掉所有进程
$ killall mongod$ killall mongos
文章参考
- mongodb 3.4 集群搭建:分片+副本集
- mongodb 3.4 集群搭建升级版 五台集群
- Deploy a Sharded Cluster
- MongoDB 3.4 集群搭建
- 搭建MongoDB集群
- mongodb集群搭建
- mongodb集群搭建
- mongodb集群搭建(双机)
- mongodb 集群搭建
- MongoDB 分片集群搭建
- mongodb集群搭建-分片
- mongodb集群搭建
- Mongodb集群配置搭建
- MongoDB -- 集群搭建
- MongoDB分片集群搭建
- MongoDB分布式集群搭建
- MongoDB集群搭建实例
- MongoDB集群搭建
- Mongodb集群搭建
- mongodb 集群分片搭建
- Ubuntu搭建MongoDB集群
- Java多线程系列--“基础篇”07之 线程休眠
- spring boot 跨域同源策略filter
- 最优化基础(五)
- 移动端设置viewport元数据标签
- 网站入侵一般流程
- MongoDB 3.4 集群搭建
- mysql对表列数和行大小的限制
- 新手微信开发心得
- vim显示空格
- 【软考之旅】第一章 计算机系统知识
- express mock 服务端数据
- LeetCode 207. Course Schedule
- 学习aop的底层设计
- 面向对象 < const > 常量定义 与 < instanceof > 判断实例化