rocketmq双Master集群模式搭建

参考文章：http://www.cnblogs.com/wrong5566/p/6078592.html
RocketMQ的集群部署方式有多种，其中包括单个Master、多个Master、多Master多Slave模式（异步复制）以及多Master多Slave模式（同步双写）。本次以多Master集群模式为例搭建一个双机Master的RocketMQ集群环境。

环境介绍

服务器ip环境安装的服务主机名192.168.1.106centos7nameServer+brokernameserver1/master1192.168.1.107centos7nameServer+brokernameserver2/master2

准备工作

1.安装jdk

http://blog.csdn.net/qq_34021712/article/details/69816837

2.下载最新rocketmq包和控制台jar包

http://blog.csdn.net/qq_34021712/article/details/78162625

搭建过程

1.将rocketmq上传到/usr/local/rocketmq目录下(两台都要做)

mkdir /usr/local/rocketmq#将tar包上传到上面创建的目录下,解压之后不包含二层目录,千万别把系统自带的bin路径替换掉了,还得重装虚拟机

tar -zxvf apache-rocketmq.tar.gz#解压

rm -rf rocketmq-3.5.8.tar.gz#删除压缩包

2.创建数据存储路径（两台机器都要创建）

mkdir /usr/local/rocketmq/storemkdir /usr/local/rocketmq/store/commitlogmkdir /usr/local/rocketmq/store/consumerqueuemkdir /usr/local/rocketmq/store/index

3.修改RocketMQ的配置文件:conf/2m-noslave/broker-a.properties  broker-b.properties(两台都要修改)

#所属集群名字brokerClusterName=rocketmq-cluster#broker名字，注意此处不同的配置文件填写的不一样 #broker-a.properties就写broker-a，broker-b.properties就写broker-bbrokerName=broker-a#0 表示 Master，>0 表示 SlavebrokerId=0#nameServer地址，分号分割namesrvAddr=192.168.1.106:9876;192.168.1.107:9876#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 defaultTopicQueueNums=4#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 autoCreateTopicEnable=true#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 autoCreateSubscriptionGroup=true#Broker 对外服务的监听端口listenPort=10911#删除文件时间点，默认凌晨 4点deleteWhen=04#文件保留时间，默认 48 小时fileReservedTime=120#commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条，根据业务情况调整 mapedFileSizeConsumeQueue=300000 #强制删除文件间隔时间（单位毫秒）#destroyMapedFileIntervalForcibly=120000#定期检查Hanged文件间隔时间（单位毫秒）#redeleteHangedFileInterval=120000#检测物理文件磁盘空间diskMaxUsedSpaceRatio=88#存储路径storePathRootDir=/usr/local/rocketmq/store#commitLog 存储路径 storePathCommitLog=/usr/local/rocketmq/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue#消息索引存储路径storePathIndex=/usr/local/rocketmq/store/index#checkpoint 文件存储路径 storeCheckpoint=/usr/local/rocketmq/store/checkpoint #abort 文件存储路径 abortFile=/usr/local/rocketmq/store/abort #限制的消息大小maxMessageSize=65536#刷CommitLog，至少刷几个PAGE#flushCommitLogLeastPages=4 #刷ConsumeQueue，至少刷几个PAGE#flushConsumeQueueLeastPages=2 #刷CommitLog，彻底刷盘间隔时间#flushCommitLogThoroughInterval=10000 #刷ConsumeQueue，彻底刷盘间隔时间#flushConsumeQueueThoroughInterval=60000#Broker 的角色#- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=ASYNC_MASTER#刷盘方式#- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH#checkTransactionMessageEnable=false#发消息线程池数量 #sendMessageThreadPoolNums=128#拉消息线程池数量 #pullMessageThreadPoolNums=128

因为有两个master主节点，所以主节点1启动依赖broker-a.properties，主节点2启动依赖broker-b.properties，如果是三个Master，那么还会有一个broker-c.properties，以此类推。
4.修改日志配置文件(两台都要修改)

mkdir -p /usr/local/rocketmq/logs

cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml

5.修改启动脚本参数（JVM参数的配置）(两台都要修改)
我的虚拟机分配的内存很小,并且nameserver和broker都在同一台机器,所以要修改一下启动参数
1）broker的参数

vi /usr/local/rocketmq/bin/runbroker.sh#修改为以下内容JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:PermSize=128m -XX:MaxPermSize=320m"

2）nameserver的参数

vi /usr/local/rocketmq/bin/runserver.sh#修改为以下内容JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:PermSize=128m -XX:MaxPermSize=320m"

3)  修改bin/tools.sh

vi /usr/local/rocketmq/bin/tools.sh  #修改为以下内容   JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:PermSize=128m -XX:MaxPermSize=320m"

6.启动服务

先启动两台机器的NameServer，再启动两台机器的Borker，关机的时候顺序相反，先关闭两台机器的Broker，再关闭两台机器的Nameserver。

1)  启动nameserver(两台都要启动)

cd /usr/local/rocketmq/bin/

nohup sh mqnamesrv &

使用jps命令查看启动的进程

使用tail -f /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log查看nameserver启动日志
2)  启动broker(两台都要启动)
注意：这里第一个节点就用broker-a.properties  第二个节点就用broker-b.properties

nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &

使用netstat -ntlp可以看到nameserver的9876端口 和broker通信的10911接口都已经被占用

使用jps命令查看启动的进程

使用tail -f /usr/local/rocketmq/logs/rocketmqlogs/broker.log查看broker启动日志
8.停止rocketMQ服务
关闭namesrv服务：sh /usr/local/rocketmq/bin/mqshutdown namesrv
关闭broker服务 ：sh /usr/local/rocketmq/bin/mqshutdown broker