kafka监控软件kafka-manager 安装配置

运行环境

1、Kafka 0.8.1.1 or 0.8.2.* or 0.9.0.* or 0.10.0.*
2、sbt 0.13.x
3、Java 8+

功能

1. 管理多个集群
2. 容易检查集群状态（主题、消费者、偏移量、代理、副本分布、分区分布）
3. 运行首选副本选举
4. 使用选项生成分区赋值以选择要使用的代理
5. 运行分区的重新分配（基于生成的赋值）
6. 创建一个可选的主题配置主题（0.8.1.1比82 +不同的配置）
7. 删除主题（仅在0.8.2 +支持记得设置删除。话题。使=在代理配置正确）
8. 话题列表现在显示标记为删除的内容（仅在0.8.2 +支持）
9. 批量生成多个主题的分区分配，并选择要使用的代理多个主题分区的批处理运行再分配
10. 向现有主题添加分区
11. 更新现有主题的配置
12. 选择是否启用JMX轮询代理层和主题水平的指标。
13. 选择过滤出消费者没有IDS /业主/偏移/目录管理员

编译环境部署

下载安装sbt源码包，这里我下载的版本是sbt-0.13.15
http://www.scala-sbt.org/download.html

解压文件

[root@storm1 sbt]# pwd/application/kafka-manager/sbt[root@storm1 sbt]# tree -L 2.├── sbt│   ├── bin│   ├── conf│   ├── lib│   └── sbt└── sbt-0.13.15.zip其中/application/kafka-manager/sbt/sbt/sbt 文件新建并写入内容：[root@storm1 sbt]# cat sbt BT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"java $SBT_OPTS -jar /application/kafka-manager/sbt/sbt/bin/sbt-launch.jar "$@添加可执行权限 chmod u+x sbt

配置PATH 环境量

vim /etc/profile  添加内容#sbt环境export PATH=/application/kafka-manager/sbt/sbt/:$PATHsource /etc/profile 使其生效。

sbt设置

配置文件在/application/kafka-manager/sbt/sbt/conf
设置网络代理

vim  sbtconfig.tx-Dhttp.proxyHost=proxy.zte.com.cn-Dhttp.proxyPort=80

第一次执行下载相应的依赖包

sbt sbt-version //这里比较耗时间

下载完成后，会在你当前用户的目前下面生成两个文件夹
sbt工作文件夹.sbt和lvy缓存目录.ivy2，修改默认路径，在配置中添加：

-Dsbt.global.base=/root/.sbt-Dsbt.ivy.home=/root/.ivy2

测试sbt是否安装成功

[root@storm1 sbt]# ./bin/sbt sbt-versionWARN: No sbt.version set in project/build.properties, base directory: /application/kafka-manager/sbt/sbt[warn] Executing in batch mode.[warn]   For better performance, hit [ENTER] to switch to interactive mode, or[warn]   consider launching sbt without any commands, or explicitly passing 'shell'[info] Set current project to sbt (in build file:/application/kafka-manager/sbt/sbt/)[info] 0.13.15

---

下载源码编译打包

获取kafka-manager源码，并编译打包，包会生成在(kafka-manager/target/universal)

git clone https://github.com/yahoo/kafka-managercd kafka-manager./sbt clean dist

安装、配置、启动

在conf/application.conf中将kafka-manager.zkhosts的值设置为你的zk地址

编辑application.conf/application/kafka-manager/kafka-manager/target/universal/kafka-manager-1.3.3.7/conf/application.conf

启动，指定配置文件和端口号

nohup bin/kafka-manager -Dconfig.file=/application/kafka-manager/kafka-manager/target/universal/kafka-manager-1.3.3.7/conf/application.conf -Dhttp.port=7778 &

---

访问http://yourip:7778 进入web管理界面，并添加相应kafka-cluster配置如下：

这里要开启选项前提是：在配置kafka集群的时候指定相应jmx端口
Enable JMX Polling (Set JMX_PORT env variable before starting kafka server)

Poll consumer information (Not recommended for large # of consumers)

kafka服务必需要开启JMX，否则在下一步启动kafka-manager时会出现：
java.lang.IllegalArgumentException: requirement failed: No jmx port but jmx polling enabled!
启动kafka服务时指定JMX_PORT值:

JMX_PORT=9999 bin/kafka-server-start.sh -daemon config/server.properties   //一台机器部署多个server采用此方法

或者修改kafka-server-start.sh，在前面加上：

export JMX_PORT=9999  //如果一台机器部署一个server 建议采用此方法