MongoDB之集群安装部署与shard操作
来源:互联网 发布:考古出土遗物数据库 编辑:程序博客网 时间:2024/05/14 04:13
近期在设计用户标签系统当中, 采用了mongodb作为标签体系的底层主要的存储系统,因此在这里先尝试下有关mongodb的shard方式集群方式安装与测试:
一. 环境部署:
1.1 版本:
MongoDB版本:mongodb-linux-x86_64-2.6.7
jdk版本: version 1.7
1.2 相关路径:
安装路径: /data/server/mongodb-2.6.7
日志路径:/data/data-dir/logs/mongodb
数据路径:/data/data-dir/mongodb
配置文件路径:/data/server/mongodb-2.6.7/conf/mongodb.conf
1.3 环境变量配置:
在mongodb系统用户路径下的.bash_profile文件中加入:
export MONGODB_HOME=/data/server/mongodb-2.6.7
export PATH=$PATH:$MONGODB_HOME/bin
二 安装方式(shard 集群部署):
shard方式当中需要部署配置服务器,路由服务器,以及N个shard 节点,并加入到mongo集群中去
2.1 配置服务器启动脚本(10.8.45.10:10000):
#!/usr/bin/env bash
source /etc/profile
LOG_DIR=/data/data-dir/logs/mongodb/config.log
nohup mongod --fork --dbpath $MONGODB_HOME/conf/ --logpath $LOG_DIR -port 10000 &
2.2 配置路由服务器启动脚本(10.8.45.10:20000):
#!/usr/bin/env bash
source /etc/profile
LOG_DIR=/data/data-dir/logs/mongodb/route.log
nohup mongos --fork --port 20000 --configdb 10.8.45.10:10000 --logpath $LOG_DIR &
注意1:配置--conigdb的时候ip地址不能填localhost或127.0.0.1否则添加分片时会返回如下错误信息:
1. {2. "ok" : 0,3. "errmsg" : "can't use localhost as a shard since all shards need to communicate. either use all shards and configdbs in localhost or all in actual IPs host: 192.168.71.43:27017 isLocalHost:0"4. }
2.3 进行shard节点安装:
启动分片1(10.8.45.11:27019):
#!/usr/bin/env bashsource /etc/profileDATA_DIR=/data/data-dir/mongodb/LOG_DIR=/data/data-dir/logs/mongodb/shard.lognohup mongod --fork --dbpath $DATA_DIR --logpath $LOG_DIR -port 27019 &
启动分片2(10.8.45.14:27020):
#!/usr/bin/env bashsource /etc/profileDATA_DIR=/data/data-dir/mongodb/LOG_DIR=/data/data-dir/logs/mongodb/shard.lognohup mongod --fork --dbpath $DATA_DIR --logpath $LOG_DIR -port 27020 &
启动分片3(10.8.26.23:27017):
#!/usr/bin/env bashsource /etc/profileDATA_DIR=/data/data-dir/mongodb/LOG_DIR=/data/data-dir/logs/mongodb/shard.lognohup mongod --fork --dbpath $DATA_DIR --logpath $LOG_DIR -port 27017 &
Note:在生产环境可以将启动的配置信息写入文件,然后启动的时候指定配置文件,这样便于管理:
1. vi conf/config.conf2. bpath=data/config/3. logpath=log/config.log4. port=100005. fork=true6. ./bin/mongod -f conf/config.conf
添加分片1(10.8.45.11:27019):
1. mongo --port 200002. mongos> use admin3. switched to db admin4. mongos> db.runCommand({addshard:"10.8.45.10:27019"})
类似的添加分片2,3。
分片添加成功返回类似下面的信息:
1. { "shardAdded" : "shard0000", "ok" : 1 }
管理分片
进入mongos进程config库可以看到目前分片的情况:
1. mongo –port 200001. mongos> use config2. switched to db config3. mongos> db.shards.find(){ "_id" : "shard0000", "host" : "10.8.45.11:27019" }{ "_id" : "shard0001", "host" : "10.8.45.14:27020" }{ "_id" : "shard0002", "host" : "10.8.26.23:27017" }
上节中建立好集群后,默认的是不会将存储的每条数据进行分片处理,需要在数据库和集合的粒度上都开启分片功能。
创建一个新的数据库test,并创建user001的集合,然后开启test库的分片功能:
1. mongo –port 200002. mongos> use admin 3. switched to db admin4. mongos> db.runCommand({"enablesharding":"test"})5. { "ok" : 1 }
开启user001集合分片功能:
1. mongos> db.runCommand({"shardcollection":"test.user001","key":{"_id":1}})2. { "collectionsharded" : "test.user001", "ok" : 1 }
注意:需要切换到admin库执行命令。
片键:上面的key就是所谓的片键(shard key)。MongoDB不允许插入没有片键的文档。但是允许不同文档的片键类型不一样,MongoDB内部对不同类型有一个排序:
查看分片后的数据库:
1. mongo –port 200005. mongos> use config6. mongos> db.databases.find()
{ "_id" : "admin", "partitioned" : false, "primary" : "config" }{ "_id" : "test", "partitioned" : true, "primary" : "shard0002" }
“_id”,字符串。表示数据库名。
“partioned”,布尔型。如果为true则表示开启了分片功能。
“primary”,字符串,这个值与“_id”对应表示这个数据库的“大本营“在哪里,不论分片与否,数据库总是会有个“大本营”,创建数据库时会随机选择一个片,也就是说大本营是开始创建数据库文件的位置。虽然分片的时候数据库也会用到很多别的服务器,但是从这分片开始。
从上面可以看出,admin没有开启分片功能,而test数据库开启了shard功能,主片在shard002服务器上,而admin数据库的的数据大本营在config配置服务器上。
切换到config下:
mongos> use config
switched to db config
mongos> db.databases.find()
{ "_id" : "admin", "partitioned" : false, "primary" : "config" }
{ "_id" : "test", "partitioned" : true, "primary" : "shard0002" }
mongos> db.chunks.find()
{ "_id" : "test.user001-_id_MinKey", "lastmod" : Timestamp(1, 0), "lastmodEpoch" : ObjectId("570ba7787f04575f5c7f0842"), "ns" : "test.user001", "min" : { "_id" : { "$minKey" : 1 } }, "max" : { "_id" : { "$maxKey" : 1 } }, "shard" : "shard0002" }
Chunks:理解MongoDB分片机制的关键是理解Chunks。mongodb不是一个分片上存储一个区间,而是每个分片包含多个区间,这每个区间就是一个块
查看test数据库的shard状态:
mongos> use test
switched to db test
mongos> db.printShardingStatus();
--- Sharding Status ---
sharding version: {
"_id" : 1,
"version" : 4,
"minCompatibleVersion" : 4,
"currentVersion" : 5,
"clusterId" : ObjectId("570b7a897f04575f5c7f00bf")
}
shards:
{ "_id" : "shard0000", "host" : "10.8.45.11:27019" }
{ "_id" : "shard0001", "host" : "10.8.45.14:27020" }
{ "_id" : "shard0002", "host" : "10.8.26.23:27017" }
databases:
{ "_id" : "admin", "partitioned" : false, "primary" : "config" }
{ "_id" : "test", "partitioned" : true, "primary" : "shard0002" }
test.user001
shard key: { "_id" : 1 }
chunks:
shard0002 1
{ "_id" : { "$minKey" : 1 } } -->> { "_id" : { "$maxKey" : 1 } } on : shard0002 Timestamp(1, 0)
- MongoDB之集群安装部署与shard操作
- MongoDB shard集群部署
- mongodb之shard集群 balance操作管理
- MongoDB学习之二----模拟shard集群搭建
- mongodb分配集群 shard key
- mongodb集群(Shard+Replica Sets)
- MongoDB之Shard初步认识
- MongoDB之Shard初步认识
- 【MongoDB】配置shard集群 完整教程
- mongodb shard
- mongodb shard
- 创建solr集群的shard与collection
- MongoDB的安装与部署
- mongodb的安装与部署
- Redis安装与集群部署
- mongodb集群shard中empty chunk的处理
- 搭建高可用mongodb shard 集群以及多节点备份
- [mongodb]shard cluster(分片集群)搭建实录
- VS断点失效时候的处理
- 取消代码中的注释
- 关于getContext()、getApplication()、getApplicationContext()、getActivity()的区别
- 在java方法中改变传递的参数的值
- Linux下perl文件的执行
- MongoDB之集群安装部署与shard操作
- Afinal的详细使用
- Direct3D Intro - HLSL 1.x Compile Error
- window命令提示符快捷键
- 62、Java基础之数组
- iOS 视频相关
- U3d菜单栏变化:Camera的Smooth Follow属性位置,U3d自带地势资源包的导入,天空盒设置
- 第七章:Linux文件与目录管理
- jQuery deferred的实践,ajax请求增加缓存处理