c++(11)使用librdkafka库实现kafka的消费实例
来源:互联网 发布:闽西职业技术学院域名 编辑:程序博客网 时间:2024/06/04 23:32
关于librdkafka库的介绍,可以参考kafka的c/c++高性能客户端librdkafka简介,本文使用librdkafka库来进行kafka的简单的消费
librdkafka在c语言的基础上封装了一层c++的API,可以实现kafka的消费操作,基本操作步骤如下
1、创建kafka 配置
RdKafka::Conf *conf = nullptr;conf = RdKafka::Conf::create(RdKafka::Conf::CONF_GLOBAL);
2、设置kafka各项参数
/*设置broker list*/conf->set("bootstrap.servers", brokers_, errstr); /*设置consumer group*/conf->set("group.id", groupid_, errstr);/*每次从单个分区中拉取消息的最大尺寸*/conf->set("max.partition.fetch.bytes", strfetch_num, errstr);
3、创建kafka topic配置
RdKafka::Conf *tconf = nullptr;tconf = RdKafka::Conf::create(RdKafka::Conf::CONF_TOPIC);
4、设置kafka topic参数
if(tconf->set("auto.offset.reset", "smallest", errstr)
5、创建kafka consumer实例
kafka_consumer_ = RdKafka::Consumer::create(conf, errstr);
6、创建kafka topic
RdKafka::Topic::create(kafka_consumer_, topics_, tconf, errstr);
7、启动kafka consumer实例
RdKafka::ErrorCode resp = kafka_consumer_->start(topic_, partition_, offset_);
8、消费kafka
kafka_consumer_->consume(topic_, partition_, timeout_ms);
9、阻塞等待消息
kafka_consumer_->poll(0);
10、停止消费
kafka_consumer_->stop(topic_, partition_);
11、销毁consumer实例
RdKafka::wait_destroyed(5000);
编译:
g++ my_consumer.cpp -o my_consumer_cpp -std=c++11 -lrdkafka++ -lz -lpthread -lrt
在运行my_producer或my_consumer时可能会报错"error while loading shared libraries xxx.so", 此时需要在/etc/ld.so.conf中加入xxx.so所在的目录
在本地启动一个简单的kafka服务,设置broker集群为localhost:9092并创建一个叫“test”的topic
启动方式可参考 kafka0.8.2集群的环境搭建并实现基本的生产消费
启动consumer:
开启kafka 自带的producer,并发送消息“hello world”
consumer处收到的消息:
阅读全文
1 0
- c++(11)使用librdkafka库实现kafka的消费实例
- c语言使用librdkafka库实现kafka的生产和消费实例
- kafka的c/c++高性能客户端librdkafka简介
- 使用Java代码实现实时消费kafka的消息
- Kafka 生产消费实例
- 集群下的kafka实现多线程消费
- librdkafka的使用和介绍
- librdkafka的安装和使用
- storm-kafka(storm spout作为kafka的消费端)
- Kafka:Kafka的生产和消费(Java版本)
- Vertica实时消费kafka实现
- Spark kafka实时消费实现
- 使用librdkafka 封装的C++类
- librdkafka 0.8 应用到C++代码中应当使用C的链接方式
- Kafka的消费编程模型
- storm消费kafka实现实时计算
- 使用storm trident消费kafka消息
- kafka的分区数与多线程消费
- hdu 1880 魔咒字典
- bootstrapvalidator 使用小记
- webpack+vue+vueRouter模块化构建完整项目实例超详细步骤(代码、入门篇)
- L1-003.个位数统计
- 编程练习——字符串翻转
- c++(11)使用librdkafka库实现kafka的消费实例
- Qt5-ubuntu16.04 fcitx输入法
- Position属性四个值:static、fixed、absolute和relative的区别和用法
- 类的基础介绍
- Python的dict字典结构操作方法学习笔记
- 获取?后的页面间传值
- Ubuntu 编译安装faster rcnn(matlab)
- HDU 1418
- jsp页面上去掉时间后面的.0