activemq集群搭建与多线程消息发送接收案例

来源：互联网发布：好玩的战争游戏知乎编辑：程序博客网时间：2024/06/06 10:04

一、在linux系统上搭建activemq单机版

1、下载activemq解压版包

网址为：http://activemq.apache.org/download.html

下载之后分为64位操作系统与32位操作系统，根据安装环境进行判断点击最新版或者全部版本根据自己的需求进行下载。

2、在linux系统上安装单机版

直接将解压包复制到linux系统中(用鼠标拉进去就可) 解压文件命令如下：

打开解压后的文件夹在bin目录下通过命令 ./activemq start 开启activemq的服务

通过 ./activemq status 命令查看activemq的状态

或者通过 ps -ef | grep java 查看当前运行的java线程

通过访问 www.ip:8161 访问网页版的activemq客户端

二、结合spring+maven搭建activemq客户端

1、编写pom.xml文件

在配置了中央仓库并联网的情况下

配置中央仓库的位置是修改maven包下的setting.xml配置文件

需要修改的中央仓库的地址，可以在百度上进行查询中央仓库的地址

<dependencies>
        <!-- spring-jms -->
         <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-jms</artifactId>
            <version>4.3.8.RELEASE</version>
         </dependency>  
         <!-- javax -jms -->
         <dependency>  
             <groupId>javax.jms</groupId>  
             <artifactId>jms</artifactId>  
             <version>1.1</version>  
         </dependency> 
         <!-- active all --> 
         <dependency>  
           <groupId>org.apache.activemq</groupId>  
           <artifactId>activemq-all</artifactId>  
           <version>5.9.0</version>  
           <scope>compile</scope>  
         </dependency>
         <dependency>
            <groupId>org.apache.activemq</groupId>
            <artifactId>activemq-client</artifactId>
            <version>5.9.0</version>
            </dependency>
            <dependency>
            <groupId>org.apache.activemq</groupId>
            <artifactId>activemq-core</artifactId>
            <version>5.7.0</version>
         </dependency>
         <dependency>
            <groupId>org.apache.activemq</groupId>
            <artifactId>activemq-pool</artifactId>
            <version>5.9.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.activemq.protobuf</groupId>
            <artifactId>activemq-protobuf</artifactId>
            <version>1.1</version>
        </dependency>
         
         <!-- spring 上下文 -->
         <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-context</artifactId>
            <version>4.3.8.RELEASE</version>
            </dependency>
            <!-- spring 测试包   项目上线后可以去掉 -->
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-test</artifactId>
            <version>4.0.4.RELEASE</version>
        </dependency>
        <!-- spring web包 -->
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-webmvc</artifactId>
            <version>4.3.8.RELEASE</version>
        </dependency>
         <!-- spring 核心包 -->
         <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-core</artifactId>
            <version>4.3.8.RELEASE</version>
        </dependency>
         <!-- spring bean包 -->
         <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-beans</artifactId>
            <version>4.3.8.RELEASE</version>
        </dependency>
        <!-- spring aop包 -->
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-aop</artifactId>
            <version>4.3.8.RELEASE</version>
        </dependency>
     </dependencies>

导入的maven约束如上所示

如果需要导入不一样版本的jar包约束方式如下：

访问http://mvnrepository.com/

或者直接在百度里面搜索包名+maven 直接访问相应jar包的界面

2、编写spring配置文件

配置文件activemqconfig.properties

jms.broker.url=failover:(tcp://10.0.1.227:61616,tcp://10.0.1.227:61617,tcp://10.0.1.227:61618)
jms.queue.name=str.queue
jms.userName=admin
jms.password=admin
jms.connections.num=10

通过spring的jmsTemplate实现的消息发送端的配置文件编写 activemqProvider.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:amq="http://activemq.apache.org/schema/core"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
       http://activemq.apache.org/schema/core http://activemq.apache.org/schema/core/activemq-core-5.8.0.xsd">
 
    <bean class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
        <!-- 表示加载的顺序 -->
        <property name="order" value="1" />
        <!-- 是否忽略不可以解析的Placeholder 当加载多个配置文件时就需要配置true-->
        <property name="ignoreUnresolvablePlaceholders" value="true" />
        <property name="location">
            <value>classpath:activemqconfig.properties</value>
        </property>
    </bean>
    <!-- Activemq connection factory -->
    <bean id="amqConnectionFactory" class="org.apache.activemq.ActiveMQConnectionFactory">
        <constructor-arg index="0" value="${jms.useName}"/>
        <constructor-arg index="1" value="${jms.password}"/>
        <constructor-arg index="2" value="${jms.broker.url}"/>
       
       <!-- 表示异步发送消息 -->
        <property name="useAsyncSend" value="true"/>
    </bean>
<!-- 配置连接池 -->
<bean id="pooledConnectionFactoryBean" class="org.apache.activemq.pool.PooledConnectionFactoryBean">
<property name="connectionFactory" ref="amqConnectionFactory"/>
<property name="maxConnections" value="${jms.connections.num}"/>
</bean>
    <!-- ConnectionFactory Definition -->
    <bean id="connectionFactory" class="org.springframework.jms.connection.CachingConnectionFactory">
        <property name="targetConnectionFactory" ref="pooledConnectionFactoryBean"/>
    </bean> 
    <!-- JmsTemplate Definition -->
     <bean id="jmsTemplate" class="org.springframework.jms.core.JmsTemplate">
        <property name="connectionFactory" ref="connectionFactory"/>
        <property name="defaultDestinationName" value="${jms.queue.name}"/>
    </bean> 
    
    </beans>

配置监听类的方式的消息消费方配置文件的编写：activemqCustomer.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:amq="http://activemq.apache.org/schema/core"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
       http://activemq.apache.org/schema/core http://activemq.apache.org/schema/core/activemq-core-5.8.0.xsd">
 
    <bean class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
        <property name="order" value="1" />
        <property name="ignoreUnresolvablePlaceholders" value="true" />
        <property name="location">
            <value>classpath:activemqconfig.properties</value>
        </property>
    </bean>
    <!-- Activemq connection factory -->
    <bean id="amqConnectionFactory" class="org.apache.activemq.ActiveMQConnectionFactory">
        <constructor-arg index="0" value="${jms.useName}"/>
        <constructor-arg index="1" value="${jms.password}"/>
        <constructor-arg index="2" value="${jms.broker.url}"/>
       
       <!-- 表示异步发送消息 -->
        <property name="useAsyncSend" value="true"/>
    </bean>
<!-- 配置连接池 -->
<bean id="pooledConnectionFactoryBean" class="org.apache.activemq.pool.PooledConnectionFactoryBean">
<property name="connectionFactory" ref="amqConnectionFactory"/>
<property name="maxConnections" value="${jms.connections.num}"/>
</bean>
    <!-- ConnectionFactory Definition -->
    <bean id="connectionFactory" class="org.springframework.jms.connection.CachingConnectionFactory">
        <property name="targetConnectionFactory" ref="pooledConnectionFactoryBean"/>
    </bean>
<!-- 自定义消息监听类 -->
<bean id="messageReceiver" class="com.xxxx.receiver.ActiveMqReceiverListener"/>
<!-- 配置消息监听器 -->
    <bean class="org.springframework.jms.listener.SimpleMessageListenerContainer">
        <property name="connectionFactory" ref="connectionFactory"/>
        <property name="destinationName" value="${jms.queue.name}"/>
        <property name="messageListener" ref="messageReceiver"/>
    </bean>
    
    <!-- 自定义消息监听类 -->
<bean id="messageReceiverTwo" class="com.xxxx.receiver.ActiveMqReceiverListenerTwo"/>
<!-- 配置消息监听器 -->
    <bean class="org.springframework.jms.listener.SimpleMessageListenerContainer">
        <property name="connectionFactory" ref="connectionFactory"/>
        <property name="destinationName" value="${jms.queue.nameTwo}"/>
        <property name="messageListener" ref="messageReceiverTwo"/>
    </bean>
    
    </beans>

在这里配置了两个消息消费的监听类用于监听不同消息队列中传递的消息类型

知识点介绍：

activemq支持的消息类型为5种分别为：

session.createTextMessage(); String数据类型

session.createMapMessage(); Map键值对数据类型

session.createStreamMessage(); StreamIO流数据可以传递文件

session.createObjectMessage(); 对象数据类型，要求对象类需要实现序列化接口

session.createBytesMessage(); 传递字节数据数据类型

注意在传递流数据类型时在向消息队列中存储数据时，发送方存储的时候是可以一直存储但是在消费方获取的时候只能取到最后一次存储的数据

所以需要在向streamMessage对象中存储一次数据就发送一次数据

MessageProducer producer = session.createrProducer("目标队列")
File file = new File("c:\\a.txt");
FileInputStream in = new FileInputStream(file);
byte[] bytes = new byte[1024];
int i = -1;
while((i=in.read(bytes))!=-1) {
    message = session.createStreamMessage();
    //这个方法实现在消息队列中存储键值对信息 文件名作为参数在消费方获取
    message.setStringProperty("filename",filename);
    //将messge中的信息进行清除
    message.clearBody();
    message.writeBytes(bytes);
    producer.send(message);
}

消息流对象可以实现传递任意格式的文件，所以我们在传递大文件时，可以先实现将文件进行压缩然后再进行发送，在消息消费方再进行解压实现文件的快速传递。

3、消息发送方与消息消费方

消息消费方属性注入jmsTemplate对象调用send方法编写匿名内部类MesageCreator类，重写里面的createMessage方法，获取session会话对象，实现消息的发送。

消息消费方，在配置文件里面配置了实体类的位置之后，在编写实体类时实现MessageListener类重写onMessage方法对接收的方法进行判断。

例子代码：

消息发送方：

import javax.jms.JMSException;
import javax.jms.MapMessage;
import javax.jms.Message;
import javax.jms.Session;
import org.springframework.jms.core.JmsTemplate;
import org.springframework.jms.core.MessageCreator;
public class Sender {
    private JmsTemplate jmsTemplate;
    //getter and setter
    public JmsTemplate getJmsTemplate() {
        return jmsTemplate;
    }
    public void setJmsTemplate(JmsTemplate jmsTemplate) {
        this.jmsTemplate = jmsTemplate;
    }
    
    public void sendInfo() {
        jmsTemplate.send(new MessageCreator() {
            public Message createMessage(Session session) throws JMSException {
                MapMessage message = session.createMapMessage();
                message.setString("lastName", "ppp");
                return message;
            }
        });
    }
}

消息消费方：

public class QueueMessageListener implements MessageListener {
        //当收到消息时，自动调用该方法。
public void onMessage(Message message) {
TextMessage tm = (TextMessage) message;
try {
System.out.println("ConsumerMessageListener收到了文本消息：\t"
+ tm.getText());
} catch (JMSException e) {
e.printStackTrace();
}
}
}

三、搭建activemq集群

在linux上搭建activemq集群的方式在这里是基于zookeeper实现的集群搭建

1、搭建zookeeper集群

1、下载zookeeper解压包

网站http://www.apache.org/dyn/closer.cgi/zookeeper/ 点击download按钮选择http://mirrors.hust.edu.cn/apache/zookeeper/ 这个下载地址(国内的下载地址)

2、解压zookeeper安装包

3、修改配置文件

在安装包的conf路径下的zoo_sample.cfg文件

复制一份到当前目录改名为zoo.cfg

修改zoo.cfg文件中的内容：

如上所示在这里设置三个(奇数个)zookeeper实现简单的集群搭建。

zookeeper默认是选举制保证奇数个数的成员实现选举出leader机器作为当前的主机，其余的作为follow为备机。

添加dataDir作为数据文件的路径

添加dataLogDir作为日志文件的路径

在文件底部添加service.n=ip:port:port 第一个端口是成员之间相互交流的端口号，第二个端口是选举leader时的端口号

参数详情：

tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳。

initLimit这个配置项是用来配置zookeeper接受客户端（这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。

当已经超过10个心跳的时间（也就是tickTime）长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20秒。

syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。

dataDir顾名思义就是zookeeper保存数据的目录,默认情况下zookeeper将写数据的日志文件也保存在这个目录里；

clientPort这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求；

----来自 linux就该这么学用户 http://www.cnblogs.com/linuxprobe/p/5851699.html

注意在这里的clientPort的参数如果在同一台虚拟机上配置三台zookeeper，需要修改端口号

4、创建data文件夹 log文件夹 myid唯一标志文件

在zookeeper主目录下创建data与log文件夹在data文件夹下创建myid文件

touch myid 在每个文件下插入内容 echo 1 > myid 这个数字表示当前的zookeeper的编号

5、复制当前修改好的zookeeper到两个新的文件夹下

修改myid的唯一标识，echo 2 > myid 如果在同一台虚拟机上搭建的集群需要修改clientPort参数

6、分别运行三台zookeeper

./zkServer.sh start

运行前两台zookeeper时会报错，但是不要担心，运行第三台后会发生这样的显示：

显示的状态为follower或者leader

表示搭建zookeeper集群成功！！！

通过命令

sh zkServer.sh status 查看运行状态

2、搭建activemq集群

1、下载activemq解压包解压（单机版已经讲解）

2、修改conf文件夹下的activemq.xml文件

<persistenceAdapter>
    <!--<kahaDB directory="${activemq.data}/kahadb"/>-->
    <replicatedLevelDB  
      directory="${activemq.data}/leveldb"  
        replicas="3"  
          bind="tcp://10.0.1.227:61616"  
             hostname="localhost"
              zkAddress="10.0.1.227:2181,10.0.1.227:2182,10.0.1.227:2183"                  
                zkPath="/activemq/leveldb-stores"       
                  sync="local_disk"                         
                />
        </persistenceAdapter>

在activemq.xml文件中找到persistenceAdapter节点

步骤如下：

1、vim activemq.xml

2、shift+/

3、输入persistenceAdapter回车

（小写n向下找大写N向上找）

将原内容修改成如上所示的内容

参数内容

directory：activemq数据的文件夹位置不要改

replicas：表示成员的个数

bind：表示客户端连接的地址 brokerURL参数的内容

hostname：表示主机的名字

zkAddress：表示连接的zookeeper的ip

zkPath：表示zookeeper位置不要改

sync 是否异步不要改

3、复制activemq三份分别修改activemq.xml文件中的bind值

3、客户端的连接配置

在配置ActiveMQConnectionFactory对象的时候需要注入brokerURL的值，当有多台activemq时，连接参数的写法如上。

4、多线程访问中发送方与消费方的配置

1、在发送方发送消息时

每个线程发送的消息，新定义一个消息队列。

session.createQueue("队列名字");

2、在消息消费方监听方式接收消息的时候是通过监听多个队列实现

配置监听多条队列的方式为：

jms.queue.nameTwo=queue1,queue2

<!-- 配置消息监听器 -->    <bean class="org.springframework.jms.listener.DefaultMessageListenerContainer">        <property name="connectionFactory" ref="connectionFactory"/>        <property name="destinationName" value="${jms.queue.name}"/>        <property name="messageListener" ref="messageReceiver"/>    </bean>

多个队列之间用逗号隔开。

5、消息队列的管理

当我们频繁的创建了消息队列之后通过在activemq.xml文件中添加配置实现定期删除不用的消息队列

当然，也可以通过配置，使得broker可以自动探测到无用的队列（一定时间内为空的队列）并删除掉，回收响应资源。

配置如下：

 <broker xmlns="http://activemq.apache.org/schema/core" schedulePeriodForDestinationPurge="10000">    <destinationPolicy>       <policyMap>          <policyEntries>             <policyEntry queue=">" gcInactiveDestinations="true" inactiveTimoutBeforeGC="30000"/>          </policyEntries>       </policyMap>    </destinationPolicy>          </broker>

schedulePeriodForDestinationPurge：10000 每十秒检查一次，默认为0，此功能关闭

gcInactiveDestinations： true 删除掉不活动队列，默认为false

inactiveTimoutBeforeGC：30000 不活动30秒后删除，默认为60秒

6、消息队列的安全设置

1、控制台安全配置，打开conf/jetty.xml文件，找到

</bean>

将“false”改为“true”即可。用户名和密码存放在conf/jetty-realm.properties文件中。

2、生产者和消费者连接MQ需要密码

打开conf/activemq.xml文件，在<broker>标签里的<systemUsage>标签前加入：

<users>

</users>

</simpleAuthenticationPlugin>

</plugins>

注意必须在<systemUsage>标签前，否则启动ActiveMQ会报错。

连接activemq生产者与消费者的账户与密码配置位置为

conf路径下的credentials.properties文件

(手动试一下)

7、消息队列的持久化方式

1）KahaDb和AMQ Message Store两种持久方式如何选择？

官方：

From 5.3 onwards - we recommend you use KahaDB - which offers improved scalability and recoverability over the AMQ Message Store.

The AMQ Message Store which although faster than KahaDB - does not scales as well as KahaDB and recovery times take longer.

非官方：

kaha文件系统实际上上是一个文件索引系统，有两部分组成，一个是数据文件系统，由一个个独立的文件组成，缺省文件大小是32M大（可配置），另外一个是索引文件系统，记录消息在数据文件中的位置信息以及数据文件中的空闲块信息。数据文件是存储到硬盘上的，索引文件是缓存在内存中的。所以这个存储系统对大消息存储有利，象我们的memberId之类的文本消息，实际上是浪费，索引比消息还大，哈。