KafkaOffsetMonitor 监控异常处理(消息堆积)
来源:互联网 发布:天诚网络 编辑:程序博客网 时间:2024/04/28 01:30
问题
监控发现消费队列没消费完,但是实际情况是消费完的,而且用命令监控是正常的。
管理界面监控:
命令行监控:
bin/kafka-consumer-offset-checker.sh –zookeeper * –topic * –group ** –broker-info
分析
1:topic异常造成:
2:重启过kafka,也许kafka的分区需要重新分配
解决
删除对应的topic:
1、删除kafka存储目录(server.properties文件log.dirs配置,默认为”/tmp/kafka-logs”)相关topic目录
2、Kafka 删除topic(集群中每台都要删除对应的topic):
如果kafaka启动时加载的配置文件中server.properties没有配置”delete.topic.enable=true”,那么此时的删除并不是真正的删除,而是把topic标记为删除:marked for deletion
你可以通过命令如下来查看所有topic:
kafka/bin/kafka-topics.sh –list –zookeeper Zookeeper地址
此时你若想真正删除它,可以如下操作:
(1)登录zookeeper客户端的命令:
./zkCli.sh -server 0.0.0.0:2181,0.0.0.0.2181,0.0.0.0:2181
(2)找到topic所在的目录:
ls /brokers/topics
(3)找到要删除的topic,执行如下命令即可,此时topic被彻底删除:
rmr /brokers/topics/new_skxb_fatigueChatReset
(4)重启kafka.
kafka重新分配重新分配partition功能:
/home/kafka/kafka_2.11-0.10.1.1/bin/kafka-reassign-partitions.sh –zookeeper 0.0.0.0:2181,0.0.0.0.2181,0.0.0.0:2181 –reassignment-json-file /home/kafka/kafka_2.11-0.10.1.1/config/exchange-rep.json –execute
/home/kafka/kafka_2.11-0.10.1.1/bin/kafka-reassign-partitions.sh –zookeeper 0.0.0.0:2181,0.0.0.0.2181,0.0.0.0:2181 –reassignment-json-file /home/kafka/kafka_2.11-0.10.1.1/config/exchange-rep.json –verify
- KafkaOffsetMonitor 监控异常处理(消息堆积)
- rocketMQ消息堆积监控的java实现
- Kafka监控工具KafkaOffsetMonitor
- kafka监控-KafkaOffsetMonitor
- 7、kafka监控-kafkaOffsetMonitor
- kafka集群监控KafkaOffsetMonitor
- 透传消息堆积一种处理方案demo
- Rabbitmq 消息堆积测试
- RocketMQ消息堆积判断
- apache kafka监控系列-KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- Apache Kafka监控之KafkaOffsetMonitor
- apache kafka监控系列-KafkaOffsetMonitor
- Kafka监控--KafkaOffsetMonitor安装部署
- apache kafka监控系列-KafkaOffsetMonitor
- C++11多线程编程之初步介绍
- android webview获取网页源代码,js执行前后
- codeforces 478C. Table Decorations(规律)
- Python之SMTP发送邮件
- 设计模式
- KafkaOffsetMonitor 监控异常处理(消息堆积)
- CSS 颜色代码大全
- springMVC传递List和数组到后端
- nodejs入门(07)-函数
- 《分水岭:看清中国科技和互联网未来五年的趋势》出版 腾讯科技出品
- SQL Server 2008R2密钥
- [POJ 1330][CodeVS 2370]LCA 倍增
- Java多线程 -- JUC包源码分析3-- volatile/final语义
- JavaHttp GET POST 请求(HttpURLConnection)