kafka1.0安装部署

kafka 1.0安装部署

1、下载安装包：http://kafka.apache.org/downloads

2、解压安装包，执行命令：tar -zxvf kafka_2.11-1.0.0.tgz

3、更改kafka broker配置：

修改config目录下server.properties配置文件

broker.id（同一集群下broker.id不能重复）

listeners=PLAINTEXT://ip:9092(ip为本机ip,9092端口可更改)

log.dirs=/tmp/kafka-logs(kafka数据存储路径，多个路径逗号分隔即可，如：data1,data2）

log.retention.hours=168（kafka数据过期清理时间,单位为/hour)

log.retention.bytes=1073741824(kafka数据量最大值，超出范围自动清理，和log.retention.hours配合使用，注意其最大值设定不可超高磁盘大小）

zookeeper.connect:localhost:2181(zookeeper连接ip及port,多个以逗号分隔即可）

group.initial.rebalance.delay.ms=0（group Rebalance延时等待，合理设置可减少Rebalance频率，0.11.x后新增功能）

4、配置完成后执行启动命令：./bin/kafka-server-start.sh config/server.properties（如无执行权限可在bin目录下执行 chmod 775 * ，然后再执行启动命令）

后台启动命令： nohup ./bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &

5、将kafka拷贝到其他部署机器：

执行命令：scp -r kafka_2.11-1.0.0 ip:path (ip为需拷贝过去的远程机器ip，path为kafka安装路径）

更改broker.id（同一集群下broker.id不能重复）

listeners=PLAINTEXT://ip:9092(ip为本机ip,9092端口可更改)

log.dirs=/tmp/kafka-logs(kafka数据存储路径，多个路径逗号分隔即可，如：data1,data2）

配置完成后启动即可。

6、验证通信：

任选一台机器执行命令：

创建topic：bin/kafka-topics.sh --create --zookeeper zkip:2181  --replication-factor 1 --partitions 1 --topic test

查看已存在的topic：bin/kafka-topics.sh --list --zookeeper zkip:2181

启动生产者：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

启动消费者：bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

在生产者窗口输入任意内容，然后按Enter键，在消费者窗口出现相同内容即为安装成功。