Kafka linux集群部署

配置环境

win7旗舰版虚拟机 oracle vm virtualBox5.0jdk 1.7.0_79zookeeper-3.4.6 (配置好的可以参考上一篇zookeeper的集群配置)kafka_2.10-0.8.2.2

准备工作

下载kafka 官网地址http://kafka.apache.org/downloads.html # wget http://mirror.bit.edu.cn/apache/kafka/0.8.2.2/kafka_2.10-0.8.2.2.tgz解压到root 根目录# tar -zxvf package/kafka_2.10-0.8.2.2.tgz

修改配置文件

进入kafka conf目录下# cd /root/kafka_2.10-0.8.2.2/config查看配置文件# ll-rw-r--r-- 1 root root 1199  9月  3  2015 consumer.properties-rw-r--r-- 1 root root 3846  9月  3  2015 log4j.properties-rw-r--r-- 1 root root 2228  9月  3  2015 producer.properties-rw-r--r-- 1 root root 5559  9月  3  2015 server.properties-rw-r--r-- 1 root root 3325  9月  3  2015 test-log4j.properties-rw-r--r-- 1 root root  993  9月  3  2015 tools-log4j.properties-rw-r--r-- 1 root root 1023  9月  3  2015 zookeeper.properties主要修改server.properties  修改一些默认的配置和最后三行加入一些配置在kafka 根目录下创建三个文件夹server0,server1,server2复制 默认config的配置文件到三个文件夹下为创建集群做准备#cp -f config server0#cp -f config server1#cp -f config server2然后修改server0 下的server.properties 对应的配置地方修改#节点标识broker.id=0#端口号port=9092#本机iphost.name=192.168.1.181 num.network.threads=3num.io.threads=8socket.send.buffer.bytes=1024000socket.request.max.bytes=104857600#日志文件存放log.dirs=/root/kafka_2.10-0.8.2.2/server0/kafkalogs0num.partitions=2num.recovery.threads.per.data.dir=1log.retention.hours=168log.segment.bytes=536870912log.retention.check.interval.ms=300000log.cleaner.enable=falsezookeeper.connection.timeout.ms=6000#关联的zookeeper集群 当然可以指定多个 以逗号分隔zookeeper.connect=192.168.1.181:2181message.max.bytes = 5048576default.replication.factor = 2replica.fetch.max.bytes = 5048576server1/config/server.properties 复制server0 要修改下边broker.id=1port=9082log.dirs=/root/kafka_2.10-0.8.2.2/server1/kafkalogs1server2/config/server.properties 复制server0 要修改下边broker.id=2port=9072log.dirs=/root/kafka_2.10-0.8.2.2/server2/kafkalogs2后台启动项目#bin/kafka-server-start.sh -daemon server0/config/server.properties#bin/kafka-server-start.sh -daemon server1/config/server.properties#bin/kafka-server-start.sh -daemon server2/config/server.properties看下kafka进程# jps12703 QuorumPeerMain14328 Jps14040 Kafka13978 Kafka14286 Kafka这种情况标识三个kafka服务启动成功了测试消息发布和接受创建话题# bin# ./kafka-topics.sh --create --zookeeper 192.168.1.181:2181 --replication-factor 2 --partitions 2 --topic test查看话题# bin# ./kafka-topics.sh --list --zookeeper 192.168.1.181:2181开启一个消费者准备接受消息 可以接收多个话题用逗号分隔#bin# ./kafka-console-consumer.sh --zookeeper 192.168.1.181:2181 --topic test --from-beginning开启一个生产者发送消息#bin#  /kafka-console-producer.sh --broker-list 192.168.1.181:9092 --topic test发送message消费端窗口就会出现message再多开几个生产者试试别的端口是否可用。

到这里就结束了，集群基本上时可用的，接下来学习java客户端操作消息队列数据