[001]kafka集群搭建总结

一、单机版

1、  安装

1

2

3

4

tar xzf kafka-0.7.2.tgz

cd kafka-0.7.2

./sbt update

./sbt package

2、  启动server

启动zookeeper 由于我们zookeeper集群是独立部署的，所以这里不用启动kafka自带的，直接启动我们自己的zookeeper服务就可以了。

启动kafka服务

bin/kafka-server-start.sh config/server.properties

3、  发送消息

1

2

3

bin/kafka-console-producer.sh --zookeeper localhost:2181 --topic test

        This is a message

        This is another messag

4、  开启consumer

1

2

3

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

        This is a message

        This is another message

二、集群搭建

1、配置

使用2个kafka broker来构建这个集群环境，分别为kafka-0,kafka-1.

集群环境需要修改配置文件

# vim config/server.properties

brokerid：这个每个server（broker）必须唯一，写数字

hostname：这个也是唯一的，写服务器IP即可

kafka-0

1. broker.id=0  

2. port=9092

3. host.name=192.168.1.210

4. log.dir=/home/lixuze/opt/kafka-0.7.2/kafka-logs（消息目录位置）

还有就是zookeeper.connect也要配置

zookeeper.connect=192.168.1.210:2181,192.168.1.211:2181,192.168.1.212:2181 

 

kafka-1

1.  broker.id=1  

2.  port=9093  

3. host.name=192.168.2.112

4.  ##其他配置和kafka-0保持一致

JMS_PORT=9998 bin/kafka-server-start.sh config/server.properties & 

 

如果你的一台机器上部署了多个kafka broker，你需要声明JMS_PORT.

JMS_PORT=9997 bin/kafka-server-start.sh config/server.properties & 

 

2、启动

启动zkServer,启动kafkaServer，

 

运行producer：bin/kafka-console-producer.sh --zookeeper 192.168.1.210:2181 --topictest 这是相当于开启了一个producer的命令行。

运行consumer，新启一个terminal：bin/kafka-console-consumer.sh--zookeeper 192.168.10.11:2181 --topic test --from-beginning

创建Topic
# /usr/kafka-0.8.0-src/bin/kafka-create-topic.sh --zookeeper localhost:2181--partition 1 --topic test
查看Topic
# /usr/kafka-0.8.0-src/bin/kafka-list-topic.sh --zookeeper localhost:2181

输出：

topic: test    partition: 0    leader: 1      replicas: 1     isr: 1

说明：
partiton： partion id，由于此处只有一个partition，因此partition id 为0
leader：当前负责读写的lead broker id
relicas：当前partition的所有replication broker  list
isr：relicas的子集，只包含出于活动状态的broker

 

 

创建topic

./kafka-topics.sh --create --zookeeper192.168.1.201:2181 --replication-factor 2 --partition 1 --topic test

查看topic

./kafka-topics.sh --describe --zookeeper192.168.1.201:2181