logstash读取kafka数据插件
来源:互联网 发布:巨人网络股票估值多少 编辑:程序博客网 时间:2024/03/29 15:13
最近公司做日志检索和计数日志不同维度统计,选用了ELK,我们的日志已经上传到Kafka中,Logstash需要从Kafka读取数据,下面是Logstash的简化配置:
<span style="font-size:18px;">input { kafka { #Kafka topic topic_id => "test_count_log" #消费者组 group_id => "logstash_data_access_event" #zk的链接地址 zk_connect => "10.0.171.202:2181,10.0.171.203:2181,10.0.171.204:2181fka_msg" queue_size => 80000 consumer_threads => 4 fetch_message_max_bytes => 10485760 }}output { elasticsearch { hosts => ["10.35.129.3:9200","10.35.129.4:9200","10.35.129.5:9200","10.35.129.6:9200","10.35.129.7:9200"] workers => 4 codec => "json" index => "kafka_test_count_log-%{+YYYY.MM.dd}" }}</span>
想要使用多个 logstash 端协同消费同一个 topic 的话,那么需要把两个或是多个 logstash 消费端配置成相同的 group_id 和 topic_id , 但是前提是要把 相应的 topic 分多个 partitions (区) ,多个消费者消费是无法保证消息的消费顺序性的。这里解释下,为什么要分多个 partitions(区) , kafka 的消息模型是对 topic 分区以达到分布式效果。每个 topic 下的不同的 partitions (区) 只能有一个 Owner 去消费。所以只有多个分区后才能启动多个消费者,对应不同的区去消费。其中协调消费部分是由 server 端协调而成。不必使用者考虑太多。只是 消息的消费则是无序的 。
总结:保证消息的顺序,那就用一个 partition 。 kafka 的每个 partition 只能同时被同一个 group 中的一个 consumer 消费 。
0 0
- logstash读取kafka数据插件
- 使用logstash的logstash-input-kafka插件读取kafka中的数据
- docker 搭建 ELK,logstash 从 kafka读取数据
- logstash的kafka插件使用
- Logstash的kafka插件使用
- Kafka与logstash数据交互
- logstash 读取 Redis 数据
- kafka插件在logstash上的安装
- logstash配置读取文本文件使用kafka传送到kafka服务器
- logstash无法读取redis数据
- logstash读取redis中的数据
- Logstash之kafka数据入ElasticSearch
- Kafka与Logstash的数据采集
- flume 读取kafka 数据
- presto读取kafka数据
- SparkStreaming读取Kafka数据
- Logstash学习3_通过Kafka传输数据给logstash-1.4和logstash-1.5
- Logstash学习1_logstash的kafka插件使用
- Android省市县三级联动 真实项目抽出 调用只需3行代码
- Swiper轮播神器
- nginx配置location总结及rewrite规则写法
- 详解http协议
- 常用知识篇 一 SQLiteDatabase 常用方法
- logstash读取kafka数据插件
- think or code
- Swing基础
- poj 2923 Relocation(状压dp,好题)
- const和指针
- Android性能分析流程表
- NSString使用stringWithFormat拼接的冷知识
- 分布式锁 Java常用技术方案
- Unity3D Mesh小课堂(四)MeshRenderer的material和sharedMaterial