KafkaOffsetMonitor的安装和使用
来源:互联网 发布:老网络歌曲大全100首 编辑:程序博客网 时间:2024/06/04 18:25
KafkaOffsetMonitor是用来实时监控Kafka集群的consumers以及它们在partition中的offset(偏移量)。
你可以浏览当前的消息消费者组,每个topic队列的所有partition的消费情况。这其实是很有用得,从这些监控中你可以很快地知道每个partition中的消息是否很快被消费以及相应的队列消息增长速度等信息。这些可以debug kafka的producers和consumers,你完全知道你的系统将会发生什么。
这个web管理平台保留的partition offset和consumer滞后的历史数据(具体数据保存多少天我们可以在启动的时候配置),所以你可以很轻易了解这几天consumer消费情况。
KafkaOffsetMonitor这款软件是用Scaka代码编写的,消息等历史数据是保存在名为offsetapp.db数据库文件中,该数据库是SQLLite文件,非常的轻量级。虽然我们可以在启动KafkaOffsetMonitor程序的时候指定数据更新的频率和数据保存的时间,但是不建议更新很频繁,或者保存大量的数据,因为在KafkaOffsetMonitor图形展示的时候会出现图像展示过慢,或者是直接导致内存溢出了。所有的关于消息的偏移量、kafka集群的台数等信息都是从Zookeeper中获取到的,日志大小是通过计算得到的。
1.到官网下载KafkaOffsetMonitor
链接如下:https://github.com/quantifind/KafkaOffsetMonitor/releases/tag/v0.2.0
2.KafkaOffsetMonitor的安装部署较为简单,所有的资源都打包到一个JAR文件中了,因此,直接运行即可,省去了我们去配置。KafkaOffsetMonitor-assembly-0.2.0.jar,直接启动(直接在jar所在目录下运行):(--zk localhost)
java -cp
KafkaOffsetMonitor-assembly-0.2.0.jar
\
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk zk-server1,zk-server2 \
--port 8089
\
--refresh 10.seconds \
--retain 2.days
各个参数的含义:
1
zk the ZooKeeper hosts
2
port on what port will the app be available
3
refresh how often should the app refresh and store a point in the DB
4
retain how
long
should points be kept in the DB
5
dbName where to store the history (
default
'offsetapp'
)
解释下这条启动命令的含义,首先我们需要指明运行Web监控的类,然后需要用到ZooKeeper,所有要填写ZK集群信息,接着是Web运行端口,页面数据刷新的时间以及保留数据的时间值。
可以写个启动脚本:
vi start.sh
nohup java -cp ./kom-local.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk 192.168.1.110:2181,192.168.1.111:2181 --port8089
--refresh 10.seconds --retain 3.days &
访问:http://localhost:8089/#/group/console-consumer-541/test
- KafkaOffsetMonitor的安装和使用
- 六. KafkaOffsetMonitor的安装和使用
- KafkaOffsetMonitor 监控工具的安装与使用
- KafkaOffsetMonitor监控工具的安装与使用
- KafkaOffsetMonitor 监控工具的安装与本地使用简要说明
- KafkaOffsetMonitor安装
- KafkaOffsetMonitor:监控消费者和延迟的队列
- KafkaOffsetMonitor安装部署
- KafkaOffsetMonitor
- KafkaOffsetMonitor
- KafkaOffsetMonitor
- Kafka监控--KafkaOffsetMonitor安装部署
- windows下KafkaOffsetMonitor下载及安装
- windows系统安装Kafka客户端KafkaOffsetMonitor
- 基于web的kafka监控工具KafkaOffsetMonitor(内部js和css已经本地化)
- 大数据系列之kafka监控kafkaoffsetmonitor安装
- Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
- Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
- Word Frequency
- C++11多线程(六):《<future> 详解二:std::packaged_task 介绍》
- iOS 开发之照片框架详解
- 【知乎问答】为什么很多看起来不是很复杂的网站,比如 Facebook 需要大量顶尖高手来开发?
- 苹果发布证书
- KafkaOffsetMonitor的安装和使用
- 2016,青春不负
- 用户登出Logout or Timeout
- iOS 开发之照片框架详解之二 —— PhotoKit 详解(上)
- 第五章 简单的数据查询
- leetcode第10题——***Regular Expression Matching
- HTTP协议
- Android SQLite3命令详解
- Git常用命令收集