Karaf 实践指南 Kafka 安装 Karaf 学习 Kafka 帮助

公司很多产品有在使用Kafka进行数据的处理，因为各种原因，没有在产品中有用到这快，偶尔，自己去研究下，做个文档进行记录：
本文是在一个机器上进行的kafka集群，分为三个节点，并且测试peoducer、cunsumer在正常和非正常情况下的测试：

1. 下载和安装Kafka

    > mkdir kafka    > cd kafka    > wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz    > tar -xzvf kafka_2.8.0-0.8.0.tar.gz    Ok，Kafka安装完成，比较简单。

2. 启动单节点的zookeeper

    > $ nohup bin/zookeeper-server-start.sh config/zookeeper.properties &

3. 准备启动一个3个broker节点的kafka集群，因此做如下配置

    >cp config/server.properties config/server-1.properties     >cp config/server.properties config/server-2.properties 修改下面的如下参数：

    server-1.properties 修改：        config/server-1.properties:        broker.id=1        port=9093        log.dir=/tmp/kafka-logs-1    server-2.properties 修改：        config/server-2.properties:        broker.id=2        port=9094        log.dir=/tmp/kafka-logs-2    顺便说明下：        broker.id: broker节点的唯一标识        port: broker节点使用端口号        log.dir: 消息目录位置

4. 启动3个broker 节点

>JMX_PORT=9997 bin/kafka-server-start.sh config/server-1.properties &>JMX_PORT=9998 bin/kafka-server-start.sh config/server-2.properties &>JMX_PORT=9999 bin/kafka-server-start.sh config/server.properties &

5. 创建topic并查看

bin/kafka-create-topic.sh –zookeeper localhost:2181 –replica 3 –partition 1 –topic 3test
bin/kafka-list-topic.sh –zookeeper localhost:2181

6.启动consumer & producer，并在producer启动后的console输入一些信息

bin/kafka-console-consumer.sh –zookeeper localhost:2181 –from-beginning –topic 3test
messageA
messageB
messageC

>bin/kafka-console-producer.sh --broker-list localhost:9092,localhost:9093,localhost:9094 --topic 3test>messageA>messageB>messageC验证下，prodocer发送的数据在consumer中是不是能正常消费。

Ok，配置基本结束，你可以尝试在干掉（pkill -9 -f server-1.properties)，然后可以继续消费和生产，看看是不是能正常。
顺便说下，查看topic：

bin/kafka-list-topic.sh –zookeeper localhost:2181

结束！QQ：154833488

如下是官网的介绍：
http://kafka.apache.org/07/quickstart.html