Kafka 生产消费 Avro 序列化数据
来源:互联网 发布:淘宝怎样投诉客服 编辑:程序博客网 时间:2024/05/01 06:08
本文实践了如何连接 Kafka 生产和消费 Avro 序列化格式的数据, 不能像 NgAgo-gDNA 那样, 为保证实验内容及结果的可重复性, 文中所用的各中间件和组件版本如下:
- Apache Kafka: kafka_2.11-0.10.0.1, 这个版本在初始始化生产者消费者的属性与之前版本有所不同.
- kafka-clients: Java API 客户端, 版本为 0.10.0.1
- Apache Avro: 1.8.1. 关于 Avro 序列化的内容可参见 Apache Avro 序列化与反序列化 (Java 实现)
- Java 8
Apache Kafka 消息系统设计为可以传输字符串, 二进制等数据, 但直接用于传输生产消费两端都能理解的对象数据会更友好. 所以我们这里用 Avro 的 Schema 来定义要传输的数据格式, 通信时采用自定义的序列化和反序列化类进行对象与字节数组间的转换.
以下是整个实验过程
本地启动 Apache Kafka 服务
请参考 简单搭建 Apache Kafka 分布式消息系统 启动 ZooKeeper 和 Kafka 即可. 程序运行会自动创建相应的主题. 启动后 Kafka 开启了本地的 9092 端口, 程序中只需要连接这个端口, 不用管 ZooKeeper 的 2181 端口. 阅读全文 >>
0 0
- Kafka 生产消费 Avro 序列化数据
- Avro数据序列化
- Kafka 生产消费实例
- kafka java 生产消费demo
- Kafka生产者消费者java示例(包含Avro序列化)
- 【Hadoop】数据序列化系统Avro
- AVRO 数据序列化系统学习笔记
- Avro (数据序列化) 基础概念
- kafka中写入avro数据
- storm消费kafka数据
- kafka java 生产消费程序demo示例
- kafka java 生产消费程序demo示例
- kafka java 生产消费程序demo示例
- kafka java 生产消费程序demo示例
- kafka java 生产消费程序demo示例
- Java API 生产和消费Kafka消息
- kafka消费和生产的xml配置
- kafka java 生产消费程序demo示例
- MySql数据库乱码的处理方式
- js里面怎么动态的为对象添加属性
- 如何定制 Spring Boot 的 Banner
- Apache Avro 序列化与反序列化 (Java 实现)
- Android实现基于试卷知识点的树形控件
- Kafka 生产消费 Avro 序列化数据
- 51nod 1021 石子归并(dp-矩阵连乘)
- 数论专题 T4
- HDU 2124 Can you find it?(二分)
- PHP设计模式(三):封装
- 01字符串
- 如果当时
- MongoDB_Java连接mongo 将结果集分页
- linux c 之 系统编程(文件1)