Kafka单机伪分布式安装

前提条件：安装好zookeeper

zooKeeper是作为分布式协调服务，是不需要依赖于Hadoop的环境，也可以为其他的分布式环境提供服务

解压

tar -zxvf zookeeper-3.4.5-cdh5.1.0.tar.gzmv zookeeper-3.4.5-cdh5.1.0  /usr/local/cdh/zookeeper
1
2

配置

vim zoo.cfg

tickTime=2000initLimit=10syncLimit=5dataDir=/usr/local/cdh/zookeeper/datadataLogDir=/usr/local/cdh/zookeeper/logsclientPort=2181
1
2
3
4
5
6

配置解析： 
tickTime: zookeeper中使用的基本时间单位, 毫秒值. 
dataDir: 数据目录. 可以是任意目录. 
dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置. 
clientPort: 监听client连接的端口号.

启动

sh $zookeeper_home/bin/zkServer.sh start
1

查看服务: 
jps 
5321 QuorumPeerMain 
5338 Jps 
查看运行状态: 
sh $zookeeper_home/bin/zkServer.sh status

/home/conan/zoo/zk0/zookeeper345/bin/../conf/zoo.cfg 
Mode: standalone

安装kafka

环境： 
centos 6.5 x64 
kafka_2.9.2-0.8.1.1

1.解压

tar -xzf kafka_2.9.2-0.8.1.1.tgz

2.配置

copy两个副本：

cp config/server.properties  config/server-1.propertiescp config/server.properties  config/server-2.properties
1
2

$kafka_home/config文件夹中配置下面几个文件：

vim server.properties

    broker.id=0    port=9092    log.dir=/tmp/kafka-logs-0    host.name=cent    zookeeper.connect=cent:2181
1
2
3
4
5

vim server-1.properties

    broker.id=1    port=9093    log.dir=/tmp/kafka-logs-1    host.name=cent    zookeeper.connect=cent:2181
1
2
3
4
5

vim server-2.properties

    broker.id=2    port=9094    log.dir=/tmp/kafka-logs-2    host.name=cent    zookeeper.connect=cent:2181
1
2
3
4
5

3.启动

要先启动zookeeper

sh $zookeeper_home/bin/zkServer.sh start
1

然后启动三个broker

bin/kafka-server-start.sh config/server.properties & 
bin/kafka-server-start.sh config/server-1.properties & 
bin/kafka-server-start.sh config/server-2.properties &

4.测试

创建一个拥有3个副本的topic:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
1

查看每个节点信息

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic个拥有3个副本的topic:
1

生产消息：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
1

*在停留的shell窗口中随便输入，按回车发送 
I’m kafka 
kafka helloworld*

消费消息：

bin/kafka-console-consumer.sh –zookeeper localhost:2181 –from-beginning –topic my-replicated-topic

结束