kafka部署一

来源：互联网发布：mac字体库里灰色字体编辑：程序博客网时间：2024/05/21 10:55

本文介绍部署集群版本，由于kafka以来zookeeper，zookeeper的部署请参考我的zookeeper相关文章，这里不做介绍

http://blog.csdn.net/sheismylife/article/category/2905709

我要搭建的kafka集群由多个broker服务程序组成，每台服务器上部署一个broker。

首先下载最新版本的程序到CentOS服务器上，这里准备了5台CentOS服务器。注意需要先安装scala 2.11版本。每台服务器上都要安装java和scala。

ln -s /data/slot0/jdk1.8.0_45/bin/java /usr/bin/javaln -s /data/slot0/scala-2.11.7/bin/scala /usr/bin/scala

下载并解压：

wget http://mirror.metrocast.net/apache//kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz

进入conf目录，复制配置文件server.properties为my-server.properties，修改如下：

broker.id=147

broker.id每个都不同，可以取IP地址最后一个字段

下面的每台server都一样

log.dirs=/data/slot0/kafka-logszookeeper.connect=10.149.11.146:2181/vehicle_kafka

默认zookeeper服务的IP地址配置好，znode里面的kafkah所使用的chroot目录也设置好。

现在使用下面的命令在5台服务器上逐一启动kafka server。

nohup ./bin/kafka-server-start.sh ./config/my-server.properties &

现在来测试一下。在其中一台服务器上创建topic

# bin/kafka-topics.sh --create --zookeeper 10.149.11.146:2181/vehicle_kafka --replication-factor 3 --partitions 5 --topic vehicle_testCreated topic "vehicle_test".

注意，这里--partitions参数是必选的，另外 --zookeeper的值要和server.properties中一样

现在可以查看一下这个topic

[root@10-149-11-147 kafka_2.11-0.8.2.1]# bin/kafka-topics.sh --describe --zookeeper 10.149.11.146:2181/vehicle_kafka --topic vehicle_testTopic:vehicle_testPartitionCount:5ReplicationFactor:3Configs:Topic: vehicle_testPartition: 0Leader: 151Replicas: 151,148,149Isr: 151Topic: vehicle_testPartition: 1Leader: 147Replicas: 147,149,150Isr: 147,149,150Topic: vehicle_testPartition: 2Leader: 148Replicas: 148,150,151Isr: 148,150,151Topic: vehicle_testPartition: 3Leader: 149Replicas: 149,151,147Isr: 149,151,147Topic: vehicle_testPartition: 4Leader: 150Replicas: 150,147,148Isr: 150,147,148

Isr解释一下，就是Replicas中活着的节点，或者和Replicas相等，或者是其子集。

0 0