Kafka三款监控工具比较
来源:互联网 发布:中国公知奇葩言论 编辑:程序博客网 时间:2024/06/05 15:24
转载原文:http://top.jobbole.com/31084/
通过研究,发现主流的三种kafka监控程序分别为:
- Kafka Web Conslole
- Kafka Manager
- KafkaOffsetMonitor
现在依次介绍以上三种工具:
Kafka Web Conslole
使用Kafka Web Console,可以监控:
Brokers列表
Kafka 集群中 Topic列表,及对应的Partition、LogSiz e等信息
点击Topic,可以浏览对应的Consumer Groups、Offset、Lag等信息
- 生产和消费流量图、消息预览…
程序运行后,会定时去读取kafka集群分区的日志长度,读取完毕后,连接没有正常释放,一段时间后产生大量的socket连接,导致网络堵塞。
Kafka Manager
雅虎开源的Kafka集群管理工具:
管理几个不同的集群
监控集群的状态(topics, brokers, 副本分布, 分区分布)
产生分区分配(Generate partition assignments)基于集群的当前状态
- 重新分配分区
KafkaOffsetMonitor
KafkaOffsetMonitor可以实时监控:
Kafka集群状态
Topic、Consumer Group列表
图形化展示topic和consumer之间的关系
图形化展示consumer的Offset、Lag等信息
总结
通过使用,个人总结以上三种监控程序的优缺点:
Kafka Web Console:监控功能较为全面,可以预览消息,监控Offset、Lag等信息,但存在bug,不建议在生产环境中使用。
Kafka Manager:偏向Kafka集群管理,若操作不当,容易导致集群出现故障。对Kafka实时生产和消费消息是通过JMX实现的。没有记录Offset、Lag等信息。
KafkaOffsetMonitor:程序一个jar包的形式运行,部署较为方便。只有监控功能,使用起来也较为安全。
若只需要监控功能,推荐使用KafkaOffsetMonito,若偏重Kafka集群管理,推荐使用Kafka Manager。
因为都是开源程序,稳定性欠缺。故需先了解清楚目前已存在哪些Bug,多测试一下,避免出现类似于Kafka Web Console的问题。
- Kafka三款监控工具比较
- Kafka三款监控工具比较
- Kafka三款监控工具比较(转)
- Kafka三款监控工具比较
- Kafka监控工具KafkaOffsetMonitor
- kafka监控工具-kafka_manager
- kafka监控工具
- kafka-manager监控工具安装
- Apache Kafka 监控工具 KafkaOffsetMonitor
- 介绍三款串口监控工具
- kafka监控工具kafkaOffsetMoniter的使用
- kafka的监控工具--kafka web console安装
- Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
- Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
- 主流的三种kafka监控程序
- wireshark_sniffer_omnipeek三款网络分析工具的比较
- 三款软件更新监控软体之比较
- kafka监控
- C. Beautiful Numbers
- 动态规划学习第一篇~
- 198. House Robber
- 类(Classes)
- 关于pig使用的部分记录
- Kafka三款监控工具比较
- 用户登录
- SoapUI 笔记13 JDBC请求
- 空间换时间-替换空格
- gcc编译出现:致命错误,没有输入文件
- 165. Compare Version Numbers
- 绕圈跑_纪中2930_树状数组统计
- 用Procedure取得全月的日期
- 最短前缀(字典树)