有多个broker的例子
来源:互联网 发布:mac版qq群文件 编辑:程序博客网 时间:2024/05/01 08:55
-- Start
1. 启动 ZooKeeper
首先还是启动 ZooKeeper。
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2cd %KAFKA_HOME%/bin/windowszookeeper-server-start.bat %KAFKA_HOME%/config/zookeeper.properties
2. 启动 Kafka borker
首先把 config 目录下的 server.properties 复制两份,分别命名为 server-1.properties 和 server-2.properties,然后修改这两个文件的下列属性,确保 log 目录存在哦。
server-1.properties:
broker.id=1port=9093log.dirs=C:/dev/kafkaLogDir/broker1
server-2.properties:
broker.id=2port=9094log.dirs=C:/dev/kafkaLogDir/broker2
其中 broker.id 用来唯一标识每一个 broker,由于我们是在同一台机器上运行三个broker, 所以我们也需要修改一下 port 和 log.dirs 属性。当然该文件还有好多其他属性我们可以进行设置,而且对每个属性都进行了说明,你可以仔细的看一下这个属性文件。
现在我们有三个 broker,分别在三个命令行中启动这三个 broker。
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2cd %KAFKA_HOME%/bin/windowskafka-server-start.bat %KAFKA_HOME%/config/server.properties
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2cd %KAFKA_HOME%/bin/windowskafka-server-start.bat %KAFKA_HOME%/config/server-1.properties
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2cd %KAFKA_HOME%/bin/windowskafka-server-start.bat %KAFKA_HOME%/config/server-2.properties
3.创建 topic
新打开一个命令提示符,下面的命令创建了一个名为 topic1 的topic。
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2cd %KAFKA_HOME%/bin/windowskafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic topic1
你有没有想过类似 --create 的这些参数是什么意思呢?在哪里查询它们的意思呢?试一试下面的命令吧。
kafka-topics.bat
也许你已经看了这些参数的意思,但是不一定能理解replication-factor 和 partitions 的真正含义。现在让我们来看看主题(topic),分区(partition)和日志(log)的关系,你可以把 topic 理解为文件夹,partition 为 topic 下面的子文件夹,log 在 partition 下,而消息保存在 log 中。所以上面的命令中--partitions 3 的意思是在 topic1下创建3个分区。那--replication-factor 2 是什么意思呢?它的意思是将任意一个分区复制到2个broker 上,这样如果一个broker 挂了,我们仍然可以从另一个broker 上获取到消息,那如果有2个broker挂了呢?呵呵,那就真挂了。怎么样?还没理解?不要紧,看看下面的目录结构你就知道了。
等过了一段时间,你可能已经忘记了topic1 是如何定义的了,你想查看它的详情,试试下面的命令吧。
kafka-topics.bat --describe --zookeeper localhost:2181 --topic topic1
上面的命令得到如下的输出:
Topic:topic1 PartitionCount:3 ReplicationFactor:2 Configs:Topic: topic1 Partition: 0 Leader: 0 Replicas: 0,2 Isr: 0,2Topic: topic1 Partition: 1 Leader: 1 Replicas: 1,0 Isr: 1,0Topic: topic1 Partition: 2 Leader: 2 Replicas: 2,1 Isr: 2,1
第一行是对 topic 的概述。接下来的三行是对每个分区的描述。
每一个分区都有一个broker为leader,它负责该分区内的所有读写操作,其他broker 被动的复制leader broker。如果leader broker 挂了,那么其他broker中的一个将自动成为该分区的新leader。
Replicas: 0,1 表示该分区保存在 broker 0 和 broker 1下。
Isr: 0,1 表示当前我们可以在 broker 0 和 broker 1 下访问该分区,如果 broker 0挂了,那就像这样子了 Isr: 1
4.发送消息
下面的命令发送一条消息到 topic1。
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2cd %KAFKA_HOME%/bin/windowskafka-console-producer.bat --broker-list localhost:9092 --topic topic1This is a message
5. 接收消息
下面的命令从 topic1 中接收消息。
set KAFKA_HOME=C:/dev/kafka_2.10-0.8.2.2cd %KAFKA_HOME%/bin/windowskafka-console-consumer.bat --zookeeper localhost:2181 --topic topic1 --from-beginning
6. 关闭 broker 1
现在我们将启动broker 1的命令窗口关闭。然后使用下面的命令再次查看一下 topic1 的状态。
kafka-topics.bat --describe --zookeeper localhost:2181 --topic topic1
Topic:topic1 PartitionCount:3 ReplicationFactor:2 Configs:Topic: topic1 Partition: 0 Leader: 0 Replicas: 0,2 Isr: 0,2Topic: topic1 Partition: 1 Leader: 0 Replicas: 1,0 Isr: 0Topic: topic1 Partition: 2 Leader: 2 Replicas: 2,1 Isr: 2
你可以再试着发送一条消息,看看还能否接收到消息。
你也可以再关闭一个broker,然后试着发送一条消息,看看有什么结果。
-- 更多参见:Kafka 精萃
-- 声 明:转载请注明出处
-- Last Edited on 2015-10-13
-- Written by ShangBo on 2014-09-03
-- End
- 有多个broker的例子
- 有多个broker的例子
- 只有一个broker的例子
- Service Broker 的实现
- Qpid 的Broker体系结构
- broker
- broker
- broker
- broker
- Broker
- kafka broker的常用配置
- DG Broker switchover的过程
- DG Broker failover的过程
- RocketMQ原理解析-broker 1. broker的启动
- RocketMQ原理解析-broker 1. broker的启动
- RocketMQ原理解析-broker 1. broker的启动
- RocketMQ原理解析-broker 1. broker的启动
- 基于Service Broker的异步消息传递
- C++之练习题41
- mysql日期选择函数
- Android:滑动菜单栏(三)SlidingMenu动画效果的实现
- 点滴的积累---J2SE学习小结
- IntelliJ IDEA设置调试模式的Variables和Watches窗口的变量为Object模式
- 有多个broker的例子
- seL4 下载
- 测试人员 新需求跟进工作质量checklist
- UCgui
- mysql批量更新
- 命令创建cocos2d-js以及打包
- GitLab 升级到7.2的新方法
- In-App Purch - Your first In-App Purchase(s) must be submitted with a new app version...问题解决方案
- Dom笔记