Spring boot 下使用Kafka实例
来源:互联网 发布:阿里云 oss 视频 封 编辑:程序博客网 时间:2024/06/16 05:56
一个简单的实例
步骤:
1. 添加pom 2. 编写配置文件(生产者,消费者) 3. 测试
1. 添加pom###
<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency>
2. 编写配置文件###
生产者配置
import java.util.HashMap;import java.util.Map;import org.apache.kafka.clients.producer.ProducerConfig;import org.apache.kafka.common.serialization.StringSerializer;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.springframework.kafka.annotation.EnableKafka;import org.springframework.kafka.core.DefaultKafkaProducerFactory;import org.springframework.kafka.core.KafkaTemplate;import org.springframework.kafka.core.ProducerFactory;@Configuration@EnableKafkapublic class KafkaProducerConfig { public Map<String, Object> producerConfigs() { Map<String, Object> props = new HashMap<>(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.20.25.171:9092"); // 如果请求失败,生产者会自动重试,我们指定是0次,如果启用重试,则会有重复消息的可能性 props.put(ProducerConfig.RETRIES_CONFIG, 0); /** * Server完成 producer request 前需要确认的数量。 acks=0时,producer不会等待确认,直接添加到socket等待发送; * acks=1时,等待leader写到local log就行; acks=all或acks=-1时,等待isr中所有副本确认 (注意:确认都是 broker * 接收到消息放入内存就直接返回确认,不是需要等待数据写入磁盘后才返回确认,这也是kafka快的原因) */ // props.put("acks", "all"); /** * Producer可以将发往同一个Partition的数据做成一个Produce * Request发送请求,即Batch批处理,以减少请求次数,该值即为每次批处理的大小。 * 另外每个Request请求包含多个Batch,每个Batch对应一个Partition,且一个Request发送的目的Broker均为这些partition的leader副本。 * 若将该值设为0,则不会进行批处理 */ props.put(ProducerConfig.BATCH_SIZE_CONFIG, 4096);// /** * 默认缓冲可立即发送,即遍缓冲空间还没有满,但是,如果你想减少请求的数量,可以设置linger.ms大于0。 * 这将指示生产者发送请求之前等待一段时间,希望更多的消息填补到未满的批中。这类似于TCP的算法,例如上面的代码段, * 可能100条消息在一个请求发送,因为我们设置了linger(逗留)时间为1毫秒,然后,如果我们没有填满缓冲区, * 这个设置将增加1毫秒的延迟请求以等待更多的消息。 需要注意的是,在高负载下,相近的时间一般也会组成批,即使是 * linger.ms=0。在不处于高负载的情况下,如果设置比0大,以少量的延迟代价换取更少的,更有效的请求。 */ props.put(ProducerConfig.LINGER_MS_CONFIG, 1); /** * 控制生产者可用的缓存总量,如果消息发送速度比其传输到服务器的快,将会耗尽这个缓存空间。 * 当缓存空间耗尽,其他发送调用将被阻塞,阻塞时间的阈值通过max.block.ms设定, 之后它将抛出一个TimeoutException。 */ props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 40960); props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class); props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class); return props; } public ProducerFactory<String, String> producerFactory() { return new DefaultKafkaProducerFactory<>(producerConfigs()); } @Bean public KafkaTemplate<String, String> kafkaTemplate() { return new KafkaTemplate<String, String>(producerFactory()); }}
消费者配置
import java.util.HashMap;import java.util.Map;import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafka.common.serialization.StringDeserializer;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.springframework.kafka.annotation.EnableKafka;import org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory;import org.springframework.kafka.config.KafkaListenerContainerFactory;import org.springframework.kafka.core.ConsumerFactory;import org.springframework.kafka.core.DefaultKafkaConsumerFactory;import org.springframework.kafka.listener.ConcurrentMessageListenerContainer;import com.example.demo.mq.Consumer;@Configuration@EnableKafkapublic class KafkaConsumerConfig { @Bean public KafkaListenerContainerFactory<ConcurrentMessageListenerContainer<String, String>> kafkaListenerContainerFactory() { ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory()); factory.setConcurrency(3); factory.getContainerProperties().setPollTimeout(5000); return factory; } public ConsumerFactory<String, String> consumerFactory() { return new DefaultKafkaConsumerFactory<>(consumerConfigs()); } public Map<String, Object> consumerConfigs() { Map<String, Object> propsMap = new HashMap<>(); propsMap.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "10.20.25.171:9092"); /** * 如果设置成true,偏移量由auto.commit.interval.ms控制自动提交的频率。 * * 如果设置成false,不需要定时的提交offset,可以自己控制offset,当消息认为已消费过了,这个时候再去提交它们的偏移量。 * 这个很有用的,当消费的消息结合了一些处理逻辑,这个消息就不应该认为是已经消费的,直到它完成了整个处理。 */ propsMap.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false); //提交延迟毫秒数 propsMap.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "100"); //执行超时时间 propsMap.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "15000"); propsMap.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); propsMap.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); //组ID propsMap.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group"); /** * 在consumter端配置文件中(或者是ConsumerConfig类参数)有个"autooffset.reset"(在kafka 0.8版本中为auto.offset.reset), * 有2个合法的值"largest"/"smallest",默认为"largest",此配置参数表示当此groupId下的消费者,在ZK中没有offset值时(比如新的groupId,或者是zk数据被清空), * consumer应该从哪个offset开始消费.largest表示接受接收最大的offset(即最新消息),smallest表示最小offset,即从topic的开始位置消费所有消息. */ propsMap.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest"); return propsMap; } @Bean public Consumer listener() { return new Consumer(); }}
注解写的已经很清楚了
3. 测试###
生产者
import java.time.LocalDateTime;import java.time.format.DateTimeFormatter;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.kafka.core.KafkaTemplate;import org.springframework.scheduling.annotation.EnableScheduling;import org.springframework.scheduling.annotation.Scheduled;import org.springframework.stereotype.Component;import lombok.extern.slf4j.Slf4j;@Component@Slf4j@EnableSchedulingpublic class Producer { @Autowired private KafkaTemplate<?, String> kafkaTemplate; @Scheduled(fixedDelay = 5000) public void send() { log.info("生产者 :{}", "gaha_hero" + LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss.SSS"))); kafkaTemplate.send("test-topic", "gaha_hero" + LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss.SSS"))); //send参数 1:topic,2:key,3:参数 // 默认情况下,Kafka根据传递消息的key来进行分区的分配,即hash(key) % numPartitions,没有指定key就随机分配一个分区 }}
消费者
import org.springframework.kafka.annotation.KafkaListener;import lombok.extern.slf4j.Slf4j;@Slf4jpublic class Consumer { @KafkaListener(topics = {"test-topic"}) public void consumer(String message){ log.info("消费者: {}", message); }}
完美demo,哈哈哈~
阅读全文
0 0
- Spring boot 下使用Kafka实例
- Spring boot下使用RabbitMQ实例
- spring boot + kafka 使用详细步骤
- Spring boot下使用Quartz--多实例解决方案
- Spring Boot集成Kafka
- Spring boot 下使用Quartz
- (11) spring boot使用jsp实例
- spring boot与kafka集成
- Spring Boot集成kafka笔记
- spring boot与kafka集成
- Spring Boot集成kafka笔记
- spring boot之集成kafka
- spring boot 与kafka集成
- kafka spring 实例
- spring整合kafka实例
- 使用spring-kafka操作kafka
- YAML在Spring Boot下如何使用?
- spring boot下redis的配置使用
- sublime text3 安装codeFormatter
- android图片尺寸获取
- 优秀工程师-UINavigationController
- JAVA Excel导出
- Linux yum方式安装配置mongodb
- Spring boot 下使用Kafka实例
- 用两个队列(Queue)实现一个栈(Stack)
- 在tomcat中部署静态资源访问
- idea离线安装阿里巴巴java规范插件
- python正则表达式
- 分布式数据库数据一致性原理说明与实现
- micro:bit 了解
- Windows 10 与 kali 双系统安装
- 凌峰制作:2017年最值得分享的IIS部署网站详细步骤