Kafka数据导入导出
来源:互联网 发布:mac microsoft office 编辑:程序博客网 时间:2024/06/08 12:27
用命令行方式读写 Kafka 玩玩还行,真正投入实际使用时,往往需要把数据导入到 Kafka 或导出 Kafka 数据到本地文件中。这里我们学习一下怎么实现这个功能。
先创建一个本地源数据文件:
- echo -e "foo\nbar" > test.txt
然后我们启动一个独立(standalone)模式的连接:
- bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties &
上述命令行指定了三个配置文件,一个是独立模式连接的配置文件,一个是导入数据相关的配置文件,最后一个是导出数据相关的配置文件。
这个命令执行的时候创建了一个独立模式的 Kafka 连接进程,进程中创建了两个连接:一个是源连接(对应 connect-file-source.properties 的配置信息),它从输入文件中逐行读取数据发布到 Kafka 主题上;另一个是读取连接(对应 connect-file-sink.properties 的配置信息),它从一个 Kafka 主题中读取数据写入到输出文件中。
test.sink.txt 文件是在 connect-file-sink.properties 中配置的输出文件,我们来查看一下这个文件:
- cat test.sink.txt
- foo
- bar
看起来数据导出成功。我们通过消费者命令行可以看到连接导入 Kafka 主题上的数据:
- bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic connect-test --from-beginning
- {"schema":{"type":"string","optional":false},"payload":"foo"}
- {"schema":{"type":"string","optional":false},"payload":"bar"}
需要注意的是源连接会不断地把新增的源数据导入到 Kafka 主题中,比如我们这样追加一行数据到源数据文件:
- echo "Another line" >> test.txt
在消费者命令行和导出数据文件中马上就出现了这一行。
阅读全文
0 0
- Kafka数据导入导出
- kafka(3) -- 连接导入、导出数据
- kafka系列(七)使用Kafka-Connect导入导出数据
- kafka数据导入hbase
- 将kafka数据导入Elasticsearch
- oracle10g数据导入导入导出
- SQL数据导入导出
- 数据导入导出
- Oracle数据导入导出
- MySQL--数据导入导出
- 重要数据导入导出
- 数据的导入导出
- 数据导入导出
- SQL数据导入导出
- excel导入、导出数据
- 导出导入MySql数据
- 数据导入导出大全
- mysql导出、导入数据
- postman里面的mockserver使用方法
- mysql安装
- spring属性配置执行过程,单列和原型区别
- 教你彻底学会动态规划——入门篇
- 机器学习(八):朴素贝叶斯分类
- Kafka数据导入导出
- WorldWind android 加载离线切片
- php 爬虫
- 隐藏/去掉导航栏返回按钮中的文字,UILabel上贴一个UILabel,导航栏字体大小颜色
- GCC在C语言中内嵌汇编 asm __volatile__
- QQ群成员信息提取软件
- 魔斗战士
- Spring Boot 配置大全
- iOS 定位方式 iOSNsPredicateString 详解