集群下的kafka实现多线程消费
来源:互联网 发布:2016年7月淘宝新政策 编辑:程序博客网 时间:2024/05/14 00:05
上一篇文章讲述了如何部署kafka集群,而这篇文章则来探讨一下如何使用多线程消费,提高消费能力,保障数据的时效性。而实现多线程消费其实很简单,只需要三步即可:
一:kafka集群配置
多线程消费,说白了就是多区消费,kafka可以给topic设置多个partition,从而实现生产的时候提交到不同的分区,以减少统一区块的压力。而消费则是从不同的分区里拿数据进行消费。
1.首先修改server.properties里:
num.partitions=3
这里等于3是因为本人的集群是用了三台机子,也就是3个broker,所以设置成3,具体数值可以根据集群情况设置。
2.创建topic:
bin/kafka-topics.sh –create –zookeeper 192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181 –replication-factor 3 –partitions 3 –topic test
这里的3对应上面的配置里的num.partitions=3
3.查看topic信息:
./kafka-topics.sh –zookeeper 192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181 –topic test–describe
会有如下显示表示创建成功:
Topic:test PartitionCount:3 ReplicationFactor:3 Configs:
Topic: test Partition: 0 Leader: 2 Replicas: 2,0,1 Isr: 0,1,2
Topic: test Partition: 1 Leader: 0 Replicas: 0,1,2 Isr: 0,1,2
Topic: test Partition: 2 Leader: 1 Replicas: 1,2,0 Isr: 0,1,2
二:生产者随机分区提交数据
这也是一个比较关键步骤,只有随机提交到不同的分区才能实现多分区消费;
这里借用了一片代码,自定义随机分区:
public class MyPartition implements Partitioner{ private static Logger LOG = LoggerFactory.getLogger(MyPartition.class); @Override public void configure(Map<String, ?> arg0) { // TODO Auto-generated method stub } @Override public void close() { // TODO Auto-generated method stub } @Override public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) { List<PartitionInfo> partitions = cluster.partitionsForTopic(topic); int numPartitions = partitions.size(); int partitionNum = 0; try { partitionNum = Integer.parseInt((String) key); } catch (Exception e) { partitionNum = key.hashCode() ; }// System.out.println("kafkaMessage topic:"+ topic+" |key:"+ key+" |value:"+value); return Math.abs(partitionNum % numPartitions); }}
然后在初始化kafka生产者配置的时候修改如下配置
props.put("partitioner.class", properties.getProperty("com.mykafka.MyPartition"));
这样就实现了kafka生产者随机分区提交数据。
三:消费者
最后一步就是消费者,修改单线程模式为多线程,这里的多线程实现方式有很多,本例知识用了最简单的固定线程模式:
ExecutorService fixedThreadPool = Executors.newFixedThreadPool(3); for (int i = 0; i < 3; i++) { fixedThreadPool.execute(new Runnable() { @Override public void run() { kafkaConsumerService.getInstance(); } }); }
在消费方面得注意,这里得遍历所有分区,否则还是只消费了一个区:
ConsumerRecords<String, String> records = consumer.poll(1000); for (TopicPartition partition : records.partitions()) { List<ConsumerRecord<String, String>> partitionRecords = records .records(partition); for (ConsumerRecord<String, String> record : partitionRecords) { System.out.println( "message==>key:" + record.key() + " value:" + record.value() + " offset:" + record.offset() + " 分区:" + record.partition()); if (record.value() == null || record.key() == null) { consumer.commitSync(); } else { // dealMessage KafkaServer.dealMessage(record.key(),record.value(),consumer);// consumer.commitSync(); } } }
注意上面的线程为啥只有3个,这里得跟上面kafka的分区个数相对应起来,否则如果线程超过分区数量,那么只会浪费线程,因为即使使用3个以上的线程也只会消费三个分区,而少了则无法消费完全。所以这里必须更上面的对应起来。
至此,多线程消费就已经完毕。这也只是本人摸索以及借鉴的经验,如有错误或者问题,请留言交流,互相学习。
- 集群下的kafka实现多线程消费
- kafka的分区数与多线程消费
- kafka的分区数与多线程消费
- kafka多线程消费
- Kafka集群生产/消费的负载均衡(Rebalance)测试
- 探讨kafka的分区数与多线程消费
- 探讨kafka的分区数与多线程消费
- 探讨kafka的分区数与多线程消费
- 【转载】探讨kafka的分区数与多线程消费
- 【原创】探讨kafka的分区数与多线程消费
- actor模型下kafka消费
- Vertica实时消费kafka实现
- Spark kafka实时消费实现
- 使用Java代码实现实时消费kafka的消息
- Kafka的消费编程模型
- Centos 下Kafka集群的搭建
- kafka linux下的集群安装
- Kafka学习之:Centos 下Kafka集群的安装
- hadoop2.7.3伪分布式搭建
- 单链表的排序与销毁
- python装饰器学习笔记
- gitlab error compiling css asset
- approxPolyDP函数的介绍
- 集群下的kafka实现多线程消费
- SDWebImage获取到UIImage分辨率跟原图不一样
- 工厂模式
- Android——Activity启动模式详解
- bzoj 1585: [Usaco2009 Mar]Earthquake Damage 2 地震伤害 最小割
- Linux/MacOS 中同时安装OpenCV2和OpenCV3并快速切换
- 湖北民族学院oj1800之 矩形与圆
- Java变量名的命名方式
- Kotlin 成了 Android 开发的官方语言