kafka集群安装

3、在linux中使用wget命令下载安装包

 wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz

  

4、解压文件并创建软连接

tar -zxvf /export/software/kafka_2.11-0.8.2.2.tgz -C /export/servers/

cd /export/servers/

ln -s kafka_2.11-0.8.2.2 kafka

5、修改配置文件

        cp /export/servers/kafka/config/server.properties /export/servers/kafka/config/server.properties.bak

        vi /export/servers/kafka/config/server.properties

        输入以下内容：

        

6、将配置好的文件kafka安装文件拷贝到其它机器

scp -r /export/servers/kafka_2.11-0.8.2.2 kafka02:/export/servers

然后分别在各机器上创建软连

cd /export/servers/

ln -s kafka_2.11-0.8.2.2 kafka

7、依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。

8、启动kafka集群

依次在各节点上启动kafka

bin/kafka-server-start.sh config/server.properties

结果如下

8、常用命令

• 查看当前服务器中的所有topic

bin/kafka-topics.sh --list --zookeeper zk01:2181

• 创建topic

bin/kafka-topics.sh --create --zookeeper zk01:2181 --replication-factor 1 --partitions 1 --topic test

• 删除topic

sh bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test

删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

• 通过shell命令发送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

• 通过shell消费消息

sh kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic test

• 查看消费位置

sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup

• 产看某个Top的详情

sh kafka-topics.sh --topic test --describe --zookeeper zk01:2181