kafka安装文档

安装文档

1.  预先安装zookeeper

如果已经存在一个zookeeper集群，直接使用即可，不存在，需要安装。

2.  安装kafka

2.1.  上传

用工具将kafka安装文件kafka_2.8.0-0.8.0.tar.gz上传到/home/hadoop/下

2.2.  解压

su – hadoop

tar -zxvf kafka_2.8.0-0.8.0.tar.gz    

2.3.  重命名

mv tar -zxvf  kafka_2.8.0-0.8.0 kafka

2.4.  修改环境变量(3台机器都需要配置)

su – root

vi /etc/profile

添加内容：

export KAFKA_HOME=/home/hadoop/kafka

export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

su - hadoop

2.5.  修改配置文件

su – hadoop

cd /home/hadoop/kafka/config

vi server.properties

修改的内容说明：

zookeeper.connect=slave1:2181, slave2:2181, slave3:2181（zookeeper地址）

broker.id=1(其他两个机器是2，3，4)

host.name= master(其他机器是slave1，slave2，slave3)

log.dirs=/home/hadoop/kafka/kafka-logs(文件夹权限为755)

2.6.  创建文件夹

cd /home/hadoop/kafka

mkdir kafka-logs

chmod 755 kafka-logs

2.7.  下发到其他机器

scp -r /home/hadoop/kafka hadoop@slave1:/home/hadoop

scp -r /home/hadoop/kafka hadoop@slave2:/home/hadoop

scp -r /home/hadoop/kafka hadoop@slave3:/home/hadoop

2.8.  修改其他机器的配置文件

主要修改以下几点：

broker.id=1(其他两个机器是2，3，4)

host.name= master(其他机器是slave1，slave2，slave3)

broker.id修改为自己的，为2或者3什么的。

host.name修改为自己的hostname

2.9.  启动（每台机器）

启动之前确保zookeeper已经启动。

在4台机器上都启动

kafka-server-start.sh/home/hadoop/kafka/config/server.properties &

 

2.10.    验证

jps：

创建消息：

kafka-create-topic.sh --zookeeper slave1:2181--partition 3 --topic wangsf-test

查看消息：

kafka-list-topic.sh --zookeeper slave1:2181

说明：

{

topic：主题

partiton： partion id

leader：当前负责读写的lead broker id

relicas：当前partition的所有备份数

isr：relicas的子集，只包含出于活动状态的broker

}

 

2.11.    停止

kafka-server-stop.sh