spring+springmvc+kafka分布式消息中间件集成方案
来源:互联网 发布:淘宝客软文制作 编辑:程序博客网 时间:2024/05/21 17:29
Honghu的消息服务平台已经抛弃了之前的ActiveMQ,改用高吞吐量比较大的Kafka分布式消息中间件方案:
kafka消息平台使用spring+kafka的集成方案,详情如下:
1. 使用最高版本2.1.0.RELEASE集成jar包:spring-integration-kafka
2. Zookeeper、Kafka分布式集群使用init.properties配置化方案。
- kafka.servers=127.0.0.1:9092
- kafka.topic=xxxooo
3. 使用消息生产者spring-context-producer配置化方案。
- <?xml version="1.0" encoding="UTF-8"?>
- <beans xmlns="http://www.springframework.org/schema/beans"
- xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
- xmlns:context="http://www.springframework.org/schema/context"
- xsi:schemaLocation="http://www.springframework.org/schema/beans
- http://www.springframework.org/schema/beans/spring-beans.xsd
- http://www.springframework.org/schema/context
- http://www.springframework.org/schema/context/spring-context.xsd">
- <!-- 定义producer的参数 -->
- <bean id="producerProperties" class="java.util.HashMap">
- <constructor-arg>
- <map>
- <entry key="bootstrap.servers" value="localhost:9092" />
- <entry key="group.id" value="2" />
- <entry key="retries" value="10" />
- <entry key="batch.size" value="16384" />
- <entry key="linger.ms" value="1" />
- <entry key="buffer.memory" value="33554432" />
- <entry key="key.serializer"
- value="org.apache.kafka.common.serialization.IntegerSerializer" />
- <entry key="value.serializer"
- value="org.apache.kafka.common.serialization.StringSerializer" />
- </map>
- </constructor-arg>
- </bean>
- <!-- 创建kafkatemplate需要使用的producerfactory bean -->
- <bean id="producerFactory"
- class="org.springframework.kafka.core.DefaultKafkaProducerFactory">
- <constructor-arg>
- <ref bean="producerProperties" />
- </constructor-arg>
- </bean>
- <!-- 创建kafkatemplate bean,使用的时候,只需要注入这个bean,即可使用template的send消息方法 -->
- <bean id="KafkaTemplate" class="org.springframework.kafka.core.KafkaTemplate">
- <constructor-arg ref="producerFactory" />
- <constructor-arg name="autoFlush" value="true" />
- <property name="defaultTopic" value="test" />
- </bean>
- </beans>
4. 使用消息消费者spring-context-producer配置化方案。
- <?xml version="1.0" encoding="UTF-8"?>
- <beans xmlns="http://www.springframework.org/schema/beans"
- xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
- xmlns:context="http://www.springframework.org/schema/context"
- xsi:schemaLocation="http://www.springframework.org/schema/beans
- http://www.springframework.org/schema/beans/spring-beans.xsd
- http://www.springframework.org/schema/context
- http://www.springframework.org/schema/context/spring-context.xsd">
- <!-- 定义consumer的参数 -->
- <bean id="consumerProperties" class="java.util.HashMap">
- <constructor-arg>
- <map>
- <entry key="bootstrap.servers" value="localhost:9092" />
- <entry key="group.id" value="0" />
- <entry key="enable.auto.commit" value="true" />
- <entry key="auto.commit.interval.ms" value="1000" />
- <entry key="session.timeout.ms" value="15000" />
- <entry key="key.deserializer"
- value="org.apache.kafka.common.serialization.IntegerDeserializer" />
- <entry key="value.deserializer"
- value="org.apache.kafka.common.serialization.StringDeserializer" />
- </map>
- </constructor-arg>
- </bean>
- <!-- 创建consumerFactory bean -->
- <bean id="consumerFactory"
- class="org.springframework.kafka.core.DefaultKafkaConsumerFactory">
- <constructor-arg>
- <ref bean="consumerProperties" />
- </constructor-arg>
- </bean>
- <!-- 实际执行消息消费的类 -->
- <bean id="messageListernerConsumerService" class="com.sml.sz.kafka.KafKaConsumer" />
- <!-- 消费者容器配置信息 -->
- <bean id="containerProperties"
- class="org.springframework.kafka.listener.config.ContainerProperties">
- <constructor-arg value="test" />
- <property name="messageListener" ref="messageListernerConsumerService" />
- </bean>
- <!-- 创建kafkatemplate bean,使用的时候,只需要注入这个bean,即可使用template的send消息方法 -->
- <bean id="messageListenerContainer"
- class="org.springframework.kafka.listener.KafkaMessageListenerContainer"
- init-method="doStart">
- <constructor-arg ref="consumerFactory" />
- <constructor-arg ref="containerProperties" />
- </bean>
- </beans>
5. 使用注解方式注入消息类型
@Autowired
private KafkaTemplate<xxx, ooo> kafkaTemplate;
6. 重写MessageListener 的getMessage方法获取消息(业务实现)
7. RestFul服务方式测试消息服务
- @CrossOrigin(origins = "*", maxAge = 3600, methods = { RequestMethod.GET, RequestMethod.POST, RequestMethod.DELETE,
- RequestMethod.PUT })
- @RestController
- @RequestMapping(value = "/rest/kafka")
- public class KafKaProducer {
- @RequestMapping(value = "/send", method = RequestMethod.GET)
- public JSONObject save() {
- System.out.println("+++++++++++++++++++++++++++++++");
- kafkaTemplate.sendDefault("HongHu KAFKA分布式消息服务测试");
- return null;
- }
- @Autowired
- private KafkaTemplate<Integer, String> kafkaTemplate;
- }
- @RestController
- public class KafKaConsumer implements MessageListener<Integer, String> {
- @Autowired
- private LogService logService;
- public void onMessage(ConsumerRecord<Integer, String> records) {
- System.out.println("====================" + records);
- Object o = records.value();
- Log log = new Log();
- log.setIsNewRecord(true);
- log.setId(IdGen.uuid());
- log.setTitle(String.valueOf(o));
- logService.save(log);
- }
- }
愿意了解框架技术或者源码的朋友直接求求交流分享技术:3133806896
分布式的一些解决方案,有愿意了解的朋友可以找我们团队探讨
更多详细源码参考来源
分布式的一些解决方案,有愿意了解的朋友可以找我们团队探讨
更多详细源码参考来源
阅读全文
3 0
- spring+springmvc+kafka分布式消息中间件集成方案
- 分布式消息中间件--kafka
- kafka分布式消息中间件
- spring集成activemq消息中间件
- Apache Kafka 分布式消息队列中间件安装与配置
- Apache Kafka 分布式消息队列中间件安装与配置
- 分布式消息处理中间件-Kafka学习笔…
- 强大的分布式消息中间件——kafka
- 强大的分布式消息中间件——kafka
- 强大的分布式消息中间件——kafka
- 消息中间件 - Apache Kafka
- 消息中间件Kafka
- 消息中间件-Kafka
- 使用spring集成的kafka收发消息
- 使用spring集成的kafka收发消息
- Spring Cloud Bus 消息总线集成Kafka
- SpringMVC集成Spring-Session进行分布式管理
- SpringMVC集成Spring-Session进行分布式管理
- DRV_MTK
- L0、L1、L2、Elastic Net正则项
- 深入java集合系列:Vector
- jquery新手入门教学(二)
- QT Creatrt 5.1.1 无法调用QUdpSocket
- spring+springmvc+kafka分布式消息中间件集成方案
- java 获取文件编码格式
- 复杂对象的组装与创建——建造者模式(二)
- 字符串和数字之间的互相转换
- Android studio 使用与快捷键
- 关于MySQL数据库的information_schema等的解释
- java基础,2.基本运算结构
- ImageLoader加载一个网址里面的多个图片
- Ice Cream Tower The 2016 ACM-ICPC Asia China-Final Contest