centos6.5 安装kafka2.11

来源:互联网 发布:python实例教程 编辑:程序博客网 时间:2024/06/05 19:56

KAFKA (分布式实时消息队列系统)
本程序安装在普通用户hadoop下
1. cd /bin
2. tar -zxvf kafka_2.11-0.9.0.0.tgz
3. tar –zxvf scala-2.11.4.tar.gz
4. 切换root
5. vi /etc/profile
添加

export SCALA_HOME=/home/hadoop/scala-2.11.4export PATH=$PATH:$SCALA_HOME/bin

source /etc/profile

5 . 配置config/server.properties
cd /home/hadoop/kafka_2.11-0.9.0.0/config
vim server.properties

broker.id为依次增长的:0、1、2、3、4,集群中唯一id(可以和zookeeper中的myid不一样,因为不是所有的zookeeper做BROKER)
num.network.threads
num.partitions ,建立topic时默认分区数
num.io.threads 建议值为机器的核数;
zookeeper.connect 设置为zookeeper Servers 列表,各节点以逗号分开;
这里写图片描述
log.dirs(我的kafka是用hadoop用户安装)
这里写图片描述
6 . 配置zookeeper.properties (如果使用kafka自带的zookeeper,要设置,建议和zoo.cfg一样)
7 . 安装一台,并用
scp –r ~/scala-2.11.4 hadoop@m2:~/
scp –r ~/kafka_2.11-0.9.0.0 hadoop@m2:~/
scp –r ~/scala-2.11.4 hadoop@m3:~/
scp –r ~/kafka_2.11-0.9.0.0 hadoop@m3:~/
每台都要修改环境变量
8 . 在kafka的部署目录下,在各个节点上通过如下命令来启动:
$ nohup bin/kafka-server-start.sh config/server.properties &
9 . 使用jps命令可以查看,服务为kafka

0 0
原创粉丝点击