10027---kafka集群环境搭建

来源：互联网发布：团伙研发作弊软件编辑：程序博客网时间：2024/06/16 06:52

原文：http://blog.csdn.net/ch717828/article/details/50748872

今在完成 storm集群搭建之后，希望集成 kafka。

此文记录搭建的过程。
storm集群搭建可以看
http://blog.csdn.net/ch717828/article/details/50718783

1. 机器准备

我准备了3台机器，分别是
10.101.214.71
10.101.214.73
10.101.214.74

2. Kafka安装

sudo tar xvzf kafka_2.11-0.9.0.0.tgz -C /usr/local/  sudo ln -s /usr/local/kafka_2.11-0.9.0.0/ /usr/local/kafka  sudo chown -R admin:admin /usr/local/kafka_2.11-0.9.0.0/ /usr/local/kafka

3. Kafka配置文件

vim /usr/local/kafka/config/server.properties  //修改一下内容  //在10.101.214.71 机器      broker.id=0      zookeeper.connect=10.101.214.71:2181,10.101.214.73:2181,10.101.214.74:2181/kafka  //在10.101.214.73 机器      borker.id=1       zookeeper.connect=10.101.214.71:2181,10.101.214.73:2181,10.101.214.74:2181/kafka  //在10.101.214.74 机器      boker.id=2       zookeeper.connect=10.101.214.71:2181,10.101.214.73:2181,10.101.214.74:2181/kafka

4. 在 zookeeper中创建Kafka节点

zookeeper的安装过程在 storm集群搭建 http://blog.csdn.net/ch717828/article/details/50718783 中有介绍，不了解的可以了解下。

//手动在zookeeper中创建路径/kafka  cd /home/admin/zookeeper-3.4.3/  bin/zkCli.sh  //在zookeeper执行如下命令  create /kafka ''

5. 启动

//在3台机器上分别启动kafka    cd /usr/local/kafka  bin/kafka-server-start.sh config/server.properties &//通过jps查看kafka是否正常启动  jps  //创建一个名称为my-replicated-topic5的Topic，5个分区，并且复制因子为3  bin/kafka-topics.sh --create --zookeeper 10.101.214.71:2181,10.101.214.73:2181,10.101.214.74:2181/kafka --replication-factor 3 --partitions 5 --topic my-replicated-topic5  //查看创建的Topic  bin/kafka-topics.sh --describe --zookeeper 10.101.214.71:2181,10.101.214.73:2181,10.101.214.74:2181/kafka --topic my-replicated-topic5

6. 演示发布消息、消费消息

//在71 启动Producer ,并向我们上面创建的名称为my-replicated-topic5的Topic中生产消息，  bin/kafka-console-producer.sh --broker-list master:9092,slave01:9092,slave02:9092 --topic my-replicated-topic5  //在73 启动Consumer ，并订阅我们上面创建的名称为my-replicated-topic5的Topic中生产的消息  /usr/local/kafka_2.11-0.9.0.0/bin/kafka-console-consumer.sh --zookeeper master:2181,slave01:2181,slave02:2181/kafka --from-beginning --topic my-replicated-topic5  //可以在Producer终端上输入字符串消息行，然后回车，就可以在Consumer终端上看到消费者消费的消息内容。

阅读全文

0 0