Apache Kafka 集群环境搭建

Kafka分布式集群安装

 

准备环境：至少3台的linuxserver

第一步:安装JDK/JRE、配置Java环境变量(略……)

第二步:安装Zookeeper

Kafka自带有zookeeper服务，我们的环境中因为资源有限使用了Kafka自带的zookeeper；但是实际生产环境中，建议大家最好单独建立一个zookeeper集群，可以和其他应用共享，也便于管理。

下载：

下载kafka： http://kafka.apache.org/downloads.html （最好下载scala预编译好的package，例如我下的是kafka_2.10-0.9.0.0.tgz ，意思就是用scala 2.10预编译好的0.9.0.0版本）

wget http://mirror.bit.edu.cn/apache/kafka/0.9.0.0/kafka_2.10-0.9.0.0.tgz

第四步：解压安装

tar -xzvf  kafka_2.10-0.9.0.0.tgz解压安装包,

第五步 ：修改配置文件

修改/config/server.properties

需要配置的属性有：broker.id(标示当前server在集群中的id，从0开始)，port，host.name(当前的server host name)，advertised.host.name （有外网地址配置则配置外网地址，没有则配置内网地址），zookeeper.connect(连接的zookeeper集群)，log.dirs(log的存储目录，记得对应的去建立这个目录)等，其他的一些配置可以看相应的注释：

 第六步：通过“scp -r ”把配置好的kafka目录copy到其他几台server上：

第八步：修改每台server对应的配置文件，

主要是修改其中的broker.id，host.name 和advertised.host.name属性，broker.id从0开始递增，每台server必须唯一

第九步：启动

先启动zookeeper集群，再启动kakfa集群

zookeeper启动命令：

nohup ./bin/zookeeper-server-start.sh  config/zookeeper.properties &

kafka启动命令：  

nohup ./bin/kafka-server-start.shconfig/server.properties &

第九步：测试

集群启动成功后，可以试着创建topic，在一台server上创建producer，另外一台创建consumer，从producer上发送信息，看consumer是否能接收到，以验证集群对否成功。

创建topic： 

 ./bin/kafka-topics.sh -zookeeper server1:2181,server2:2181,server3:2181-topic test -replication-factor 2 -partitions 5 –create

 

 查看topic：

./bin/kafka-topics.sh -zookeeper server1:2181,server2:2181,server3:2181–list

 创建producer：

 ./bin/kafka-console-producer.sh -broker-listkafkaServer1:9092,

kafkaServer2:9092,kafkaServer3:9092 --topic test

 创建consumer：

./bin/kafka-console-consumer.sh-zookeeper server1:2181,server2:2181,

server3:2181 - from-begining --topic test

 

通过在创建好的producer控制台输入信息，在consumer的控制台检测输出来测试，如果可以同步接受到信息就说明简单的kakfa集群搭好了。