kafka学习总结(七)——kafka监控-kafkaOffsetMonitor
来源:互联网 发布:windows 找不到aero 编辑:程序博客网 时间:2024/06/01 08:11
1、kafkaOffsetmonitor简述
KafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面,这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,你可以通过浏览当前的消费者组,并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。它让我们很直观的知道,每个Partition的Message是否消费掉,有木有阻塞等等。
这个Web管理平台保留的Partition、Offset和它的Consumer的相关历史数据,我们可以通过浏览Web管理的相关模块,清楚的知道最近一段时间的消费情况。
该Web管理平台有以下功能:
- 对Consumer的消费监控,并列出每个Consumer的Offset数据
- 保护消费者组列表信息
- 每个Topic的所有Partition列表包含:Topic、Pid、Offset、LogSize、Lag以及Owner等等
- 浏览查阅Topic的历史消费信息
这些功能对于我们开发来说,已经绰绰有余了。
2、KafkaOffsetMonitor安装部署
2.1、下载安装包
百度云下载:https://pan.baidu.com/s/1hrHfLrA
github官网下载:https://github.com/quantifind/KafkaOffsetMonitor/releases/download/v0.2.0/KafkaOffsetMonitor-assembly-0.2.0.jar
2.2、部署
KafkaOffsetMonitor的安装部署较为简单,所有的资源都打包到一个JAR文件中了,因此,直接运行即可,省去了我们去配置。这里我们可以新建一个目录单独用于Kafka的监控目录,我这里新建一个kafka_monitor文件目录,然后我们在准备启动脚本,脚本内容如下所示:
#! /bin/bashjava -cp KafkaOffsetMonitor-assembly-0.2.0.jar \ com.quantifind.kafka.offsetapp.OffsetGetterWeb \ --zk 192.168.174.137:2181 \ --port 8089 \ --refresh 10.seconds \ --retain 1.days
2.3、启动脚本
3、KafkaOffsetMonitor运行预览
4、总结
图中的一些参数的含义如下:
- Topic:创建Topic名称
- Partition:分区编号
- Offset:表示该Parition已经消费了多少Message
- LogSize:表示该Partition生产了多少Message
- Lag:表示有多少条Message未被消费
- Owner:表示消费者
- Created:表示该Partition创建时间
- kafka学习总结(七)——kafka监控-kafkaOffsetMonitor
- Kafka监控工具KafkaOffsetMonitor
- kafka监控-KafkaOffsetMonitor
- 7、kafka监控-kafkaOffsetMonitor
- kafka集群监控KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- Apache Kafka监控之KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- Kafka监控--KafkaOffsetMonitor安装部署
- apache kafka监控系列-KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- Apache Kafka 监控工具 KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- 区块链技术学习笔记
- Android获取已安装应用大小---参考学习
- Python 实现各种排序算法
- Maven 添加src/main/java 时 The folder is already a source folder.
- 添加时间选择器--DatePicker
- kafka学习总结(七)——kafka监控-kafkaOffsetMonitor
- ACM 各大OJ平台以及题目分类
- 论文阅读-《DSSD : Deconvolutional Single Shot Detector》
- sizeof浅析(一)——求结构体大小
- 26条深度学习经验
- c#键盘单词输入判断游戏
- TabLayout+ViewPager+Fragment实现顶部滑动效果
- 数据库SQL优化大总结之 百万级数据库优化方案
- android seekbar滑动条实现平滑滑动并回滚至指定值的整数倍