kafka安装配置与测试

kafka安装配置

 

说白了kafka安装非常简单，只需要修改config/server.property文件，

除了要让borker.id不同，另外要设置一下zookeeper的地址，如果讲究的话把日志生成到指定的一个目录别放到tmp目录

启动就是kafka-server-start.sh../config/server.properties &

 

下面是详细说明

 

 

安装文档

1.        预先安装zookeeper

如果已经存在一个zookeeper集群，直接使用即可，不存在，需要安装。

2.        安装kafka

2.1.        上传

用工具将kafka安装文件kafka_2.8.0-0.8.0.tar.gz上传到/home/hadoop/下

2.2.        解压

su– hadoop

tar-zxvf  kafka_2.8.0-0.8.0.tar.gz   

2.3.        重命名

mvtar -zxvf  kafka_2.8.0-0.8.0 kafka

2.4.        修改环境变量(3台机器都需要配置)

su– root

vi/etc/profile

添加内容：

exportKAFKA_HOME=/home/hadoop/kafka

exportPATH=$PATH:$KAFKA_HOME/bin

source/etc/profile

su- hadoop

2.5.        修改配置文件

su– hadoop

cd/home/hadoop/kafka/config

viserver.properties

修改的内容说明：

zookeeper.connect=slave1:2181,slave2:2181, slave3:2181（zookeeper地址）

broker.id=1(其他两个机器是2，3，4)

host.name=master(其他机器是slave1，slave2，slave3)

log.dirs=/home/hadoop/kafka/kafka-logs(文件夹权限为755)

2.6.        创建文件夹

cd/home/hadoop/kafka

mkdirkafka-logs

chmod755 kafka-logs

2.7.        下发到其他机器

scp-r /home/hadoop/kafka hadoop@ slave1:/home/hadoop

scp-r /home/hadoop/kafka hadoop@ slave2:/home/hadoop

scp-r /home/hadoop/kafka hadoop@ slave3:/home/hadoop

2.8.        修改其他机器的配置文件

主要修改以下几点：

broker.id=1(其他两个机器是2，3，4)

host.name=master(其他机器是slave1，slave2，slave3)

broker.id修改为自己的，为2或者3什么的。

host.name修改为自己的hostname

2.9.        启动（每台机器）

启动之前确保zookeeper已经启动。

在4台机器上都启动

kafka-server-start.sh/home/hadoop/kafka/config/server.properties &

 

2.10.        验证

jps：

 

创建消息：

kafka-create-topic.sh--zookeeper slave1:2181 --partition 3 --topic wangsf-test

查看消息：

kafka-list-topic.sh--zookeeper slave1:2181

说明：

{

topic：主题

partiton：partion id

leader：当前负责读写的lead broker id

relicas：当前partition的所有备份数

isr：relicas的子集，只包含出于活动状态的broker

}

 

2.11.        停止

kafka-server-stop.sh

 

 

详细文档

 

 

 

kafka如何创建主题

 

//查看Topic的命令

bin/kafka-topics.sh--list --zookeeper hadoop1:2181

 

//创建命令               创建       zookeeper地址                  副本数量                     分区个数              Topic名字

bin/kafka-topics.sh--create --zookeeper hadoop1:2181 --replication-factor 3 --partitions 2 --topicbjcrm