RabbitMQ+HAProxy构建高可用消息队列

用RabbitMQ的集群、镜像队列+HAProxy构建一个高可用的消息队列。

集群配置

主要参考官网：http://www.rabbitmq.com/clustering.html
现在有三台ubuntu服务器，ip分别是 192.168.56.111，192.168.56.112，192.168.56.113
如果没有这么多主机，本项目用到四个主机，可参考：http://blog.csdn.net/qq_34039315/article/details/77527082
服务器端安装配置rabbitmq，可参考：http://blog.csdn.net/qq_34039315/article/details/77587623

1、三台机器都需要在/etc/hosts里面输入相关的IP和机器名对应关系

192.168.56.111 ubuntu01192.168.56.112 ubuntu02192.168.56.113 ubuntu03

2、设置同一cookie

查看mq1的cookie

$ sudo cat /var/lib/rabbitmq/.erlang.cookie    #RFHZQHILNIHDGGKQYYNG

设置ubuntu02、ubuntu03的cookie为这个值，需要临时修改权限才能添加进去

$ sudo rabbitmqctl stop$ sudo chmod 777 /var/lib/rabbitmq/.erlang.cookie$ sudo echo 'RFHZQHILNIHDGGKQYYNG' >  /var/lib/rabbitmq/.erlang.cookie$ sudo chmod 400 /var/lib/rabbitmq/.erlang.cookie# 后台启动服务$ sudo rabbitmq-server –detached&

3、ubuntu02、ubuntu03加入集群

$ sudo rabbitmqctl stop_app$ sudo rabbitmqctl join_cluster rabbit@ubuntu01$ sudo rabbitmqctl start_app

4、查看状态

可以看到3个节点都是采用disc模式的

$ sudo rabbitmqctl cluster_statusCluster status of node rabbit@ubuntu03[{nodes,[{disc,[rabbit@ubuntu01,rabbit@ubuntu02,rabbit@ubuntu03]}]}, {running_nodes,[rabbit@ubuntu01,rabbit@ubuntu02,rabbit@ubuntu03]}, {cluster_name,<<"rabbit@ubuntu02">>}, {partitions,[]}, {alarms,[{rabbit@ubuntu01,[]},{rabbit@ubuntu02,[]},{rabbit@ubuntu03,[]}]}]

5、修改ubuntu02节点为ram模式

$ sudo rabbitmqctl stop_app$ sudo rabbitmqctl change_cluster_node_type ram$ sudo rabbitmqctl start_app$ sudo rabbitmqctl cluster_statusCluster status of node rabbit@ubuntu02[{nodes,[{disc,[rabbit@ubuntu03,rabbit@ubuntu01]},{ram,[rabbit@ubuntu02]}]}, {running_nodes,[rabbit@ubuntu01,rabbit@ubuntu03,rabbit@ubuntu02]}, {cluster_name,<<"rabbit@ubuntu02">>}, {partitions,[]}, {alarms,[{rabbit@ubuntu01,[]},{rabbit@ubuntu03,[]},{rabbit@ubuntu02,[]}]}]

可以看到成功修改了节点属性

6、ubuntu03退出集群（仅作尝试）

ubuntu03执行：

$ sudo rabbitmqctl stop_app$ sudo rabbitmqctl reset$ sudo rabbitmqctl start_app

ubuntu01执行：

$ sudo rabbitmqctl forget_cluster_node rabbit@ubuntu03

注意事项

cookie在所有节点上必须完全一样，同步时一定要注意。、

erlang是通过主机名来连接服务，必须保证各个主机名之间可以ping通。可以通过编辑/etc/hosts来手工添加主机名和IP对应关系。如果主机名ping不通，rabbitmq服务启动会失败。

如果queue是非持久化queue，则如果创建queue的那个节点失败，发送方和接收方可以创建同样的queue继续运作。但如果是持久化queue，则只能等创建queue的那个节点恢复后才能继续服务。

在集群元数据有变动的时候需要有disk node在线，但是在节点加入或退出的时候所有的disk node必须全部在线。如果没有正确退出disk node，集群会认为这个节点当掉了，在这个节点恢复之前不要加入其它节点。

RabbitMQ只要求集群中至少有一个磁盘节点，其他节点都可以是内存节点。当节点加入或者离开集群时，它们必须要将变更通知到至少一个磁盘节点。如果只有一个磁盘节点，磁盘节点奔溃后，集群可以继续路由消息（即保持运行），但是直到该节点恢复之前，无法更改任何东西。通常在集群中设置两个磁盘节点。

RabbitMQ镜像配置

在上述的集群中，如果某个节点挂掉，整个集群还是可以正常工作的，但是挂掉的那个节点的消息就清空了。这种情况在生产环境中是不可接受的，所以需要用到镜像功能，也就是主从配置。

在集群中的任意一台主机上执行：

$ sudo rabbitmqctl set_policy -p /test ha-allqueue "^" '{"ha-mode":"all"}'

这行命令在vhost名称为/test创建了一个策略，策略名称为ha-allqueue,策略模式为 all 即复制到所有节点，包含新增节点，策略正则表达式为 “^” 表示所有匹配所有队列名称。

配置镜像队列后，其中1台节点失败，队列内容是不会丢失，如果整个集群重启，会恢复在disc中的持久化消息。

HAProxy负载均衡

上述操作已经建立起一个高可用的消息队列了，那么客户端怎么连接呢？

1、客户端可以连接集群中的任意一个节点，如果一个节点故障，客户端自行重新连接到其他的可用节点；（不推荐，对客户端不透明）2、通过动态DNS，较短的ttl3、HAProxy负载均衡

当然我们推荐第三种方式了：

在一台新的主机上：192.168.56.114

1、安装HAProxy（本次安装了1.6.3版本）：

$ sudo apt-get update$ sudo apt-get install haproxy$ haproxy -v       #查看版本

2、修改配置文件

配置文件路径：/etc/haproxy/haproxy.cfg
修改为如下：

##############全局配置########################global        log 127.0.0.1   local0        log 127.0.0.1   local1 notice        chroot /var/lib/haproxy                #改变当前工作目录        stats socket /run/haproxy/admin.sock mode 660 level admin   #创建监控所用的套接字目录        stats timeout 30s       #超时时间        user haproxy            #默认用户        group haproxy           #默认用户组        daemon                  #创建一个守护进程        # Default SSL material locations        ca-base /etc/ssl/certs        crt-base /etc/ssl/private        # Default ciphers to use on SSL-enabled listening sockets.        # For more information, see ciphers(1SSL). This list is from:        #  https://hynek.me/articles/hardening-your-web-servers-ssl-ciphers/        ssl-default-bind-ciphers ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:ECDH+3DES:DH+3DES:RSA+AESGCM:RSA+AES:RSA+3DES:!aNULL:!MD5:!DSS        ssl-default-bind-options no-sslv3#################默认配置#####################defaults        log     global        mode    http            #默认的模式   tcp|http|health  可选，tcp是4层，http是7层，health至返回OK        option  httplog         #http日志模式        option  dontlognull     # 启用该项，日志中将不会记录空连接。所谓空连接就是在上游的负载均衡器                                # 或者监控系统为了探测该 服务是否存活可用时，需要定期的连接或者获取某                                # 一固定的组件或页面，或者探测扫描端口是否在监听或开放等动作被称为空连接；                                # 官方文档中标注，如果该服务上游没有其他的负载均衡器的话，建议不要使用                                # 该参数，因为互联网上的恶意扫描或其他动作就不会被记录下来        timeout connect 5000    #连接超时时间        timeout client  50000   #客户端连接超时时间        timeout server  50000   #服务端连接超时时间        errorfile 400 /etc/haproxy/errors/400.http        errorfile 403 /etc/haproxy/errors/403.http        errorfile 408 /etc/haproxy/errors/408.http        errorfile 500 /etc/haproxy/errors/500.http        errorfile 502 /etc/haproxy/errors/502.http        errorfile 503 /etc/haproxy/errors/503.http        errorfile 504 /etc/haproxy/errors/504.http####################################################################listen http_front        bind 0.0.0.0:1080           #监听端口          mode http        stats refresh 30s           #统计页面自动刷新时间          stats uri /haproxy?stats    #统计页面url          stats realm Haproxy Manager #统计页面密码框上提示文本          stats auth admin:admin      #统计页面用户名和密码设置          #stats hide-version         #隐藏统计页面上HAProxy的版本信息###############我把RabbitMQ的管理界面也放在HAProxy后面了#################listen rabbitmq_admin    bind 0.0.0.0:8004    server node1 192.168.56.111:15672    server node2 192.168.56.112:15672    server node3 192.168.56.113:15672####################################################################listen rabbitmq_cluster    bind 0.0.0.0:5672    option tcplog    mode tcp    timeout client  3h    timeout server  3h    option          clitcpka    balance roundrobin      #负载均衡算法（#banlance roundrobin 轮询，balance source 保存session值，支持static-rr，leastconn，first，uri等参数）    #balance url_param userid    #balance url_param session_id check_post 64    #balance hdr(User-Agent)    #balance hdr(host)    #balance hdr(Host) use_domain_only    #balance rdp-cookie    #balance leastconn    #balance source //ip    server   node1 192.168.56.111:5672 check inter 5s rise 2 fall 3   #check inter 2000 是检测心跳频率，rise 2是2次正确认为服务器可用，fall 3是3次失败认为服务器不可用    server   node2 192.168.56.112:5672 check inter 5s rise 2 fall 3    server   node3 192.168.56.113:5672 check inter 5s rise 2 fall 3

3、重新启动HAProxy

$ sudo service haproxy restart

4、验证

1、打开url：http://192.168.56.114:1080/haproxy?stats 帐号密码：admin/admin
然后看到相关信息即为成功

2、打开：http://192.168.56.114:8004 同样也可以看到rabbitmq的web控制台，因为配置文件也绑定了这个
3、发送rabbitmq消息：
此时，向192.168.56.114:5672即可成功，我用的rabbitmq+spring测试：
具体可参考：http://blog.csdn.net/qq_34039315/article/details/77484292

集群知识

如何选择RabbitMQ的消息保存方式？

RabbitMQ对于queue中的message的保存方式有两种方式：disc和ram。如果采用disc，则需要对exchange／queue／delivery mode都要设置成durable模式。Disc方式的好处是当RabbitMQ失效了，message仍然可以在重启之后恢复。而使用ram方式，RabbitMQ处理message的效率要高很多，ram和disc两种方式的效率比大概是3:1。所以如果在有其它HA手段保障的情况下，选用ram方式是可以提高消息队列的工作效率的。

当消息发送的速率超过了RabbitMQ的处理能力时该怎么办？

RabbitMQ会自动减慢这个连接的速率，让client端以为网络带宽变小了，发送消息的速率会受限，从而达到流控的目的。 使用”rabbitmqctl list_connections”查看连接，如果状态为“flow”，则说明这个连接处于flow-control 状态。

RabbitMQ集群结构

RabbitMQ基于Erlang编写，天然支持clustering。集群是保证可靠性的一种方式，同时可以通过水平扩展以达到增加消息吞吐能力的目的.

上图中是三个节点的RabbitMQ集群，Exchange A的metadata信息在所有节点上是一致的，queue的完整信息则只在它创建的那个节点上。每个RabbitMQ节点通常以“rabbit@”表示，所以hostname在运行RabbitMQ的节点中很重要。注意：如果更改了hostname，需要重置RabbitMQ内部的数据库，否则服务无法工作。

数据流动

RabbitMQ维护着四种类型的metadata： queue／exchange／binding／vhost，在集群中这些信息被同步到每个节点，因此当用户访问任何一个节点时，通过rabbitmqctl查询到的queue／user／exchange等信息都是相同的。

通常我们将这些信息保存到磁盘上，也就是查询RabbitMQ状态时的“disc”方式，以便集群重启时可以根据保存的metadata信息重建exchange等。

对于exchange来讲，它的所有信息就是一个exchange名字加上一个查询表。查询表中记录了所有的queue binding。当message被发送到exchange时，client连接的channel对routing key进行比对，根据binding进行正确的转发。

对于Queue来讲，虽然它的metadata在每个节点上都有，但只有在它被创建的那个RabbitMQ 节点上才具有完整的信息：比如state／contents等，这个node被称为此queue的owner node。其他节点只知道这个queue的metadata信息和一个指向queue的owner node的指针。

如果一个client访问RabbitMQ的节点上没有需要的queue的完整信息，RabbitMQ将根据这个指针将请求转发到owner node。所以一个客户端最好一直只和一个节点连接，这样效率高一点。

Mnesia是RabbitMQ中的数据库，它是内嵌在Erlang中的no-SQL数据库。Exchange／Queue／Binding等的metadata信息都保存在mnesia的数据库文件中。关于RabbitMQ的集群信息也保存在这里。Rabbitmqctl的reset操作实际上就是清空了mnesia数据库所在目录的内容。