kafka学习
来源:互联网 发布:最好用的淘宝客程序 编辑:程序博客网 时间:2024/05/21 06:49
准备工作:
1. 准备3台机器,IP地址分别为:192.168.0.10,192.168.0.11,192.168.0.12
2. 下载kafka稳定版本,我的版本为:kafka_2.9.2-0.8.1.1.tgz
3. 分别解压放入到想安装的目录下,我的目录为:/home/www 解压命令为:
tar -xzf kafka_2.9.2-0.8.1.1.tgz
搭建zookeeper集群
1. 进入解压后的目录/home/www/kafka_2.9.2-0.8.1.1
2. 进入config目录下,修改zookeeper.properties文件
tickTime=2000dataDir=/data/zookeeper/clientPort=2181initLimit=5syncLimit=2server.1=192.168.0.10:2888:3888server.2=192.168.0.11:2888:3888server.3=192.168.0.12:2888:3888
在dataDir目录/data/zookeeper/下写一个myid文件,命令如下:
echo 1 >myid
注意:这个id是zookeeper的主机标示,每个主机id不同第二台是2 第三台是3。
逐次启动3台机器的zookeeper 构成一个集群:
> bin/zookeeper-server-start.sh config/zookeeper.properties &
注意:使用& 会打印出启动日志,但如果使用secure ssh直接退出,有可能会让zookeeper退出,建议使用命令检查一下:
> netstat -apn | grep 2181
我启动的顺序是
192.168.0.10
192.168.0.11
192.168.0.12
由于ZooKeeper集群启动的时候,每个结点都试图去连接集群中的其它结点,先启动的肯定连不上后面还没启动的,所以打印出来的部分的异常是可以忽略的。集群在选出一个Leader后,最后稳定了。其他结点可能也出现类似问题,属于正常。
至此,zookeeper集群搭建完成
搭建kafka broker集群
进入config目录,修改server.properties
broker.id=0port=9092host.name=192.168.0.10zookeeper.contact=192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181log.dirs=/home/www/kafka-logs
不同集群broker.id 和host.name 不一样,根据实际情况配置。
修改生产者配置
broker.list=192.168.0.10.50:9092,192.168.0.11:9092,192.168.0.12:9092 producer.type=async
修改消费者配置:
zookeeper.contact=192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181
启动每台服务器的kafka:
> bin/kafka-server-start.sh config/server.properties &
测试集群
创建一个topic
> bin/kafka-topics.sh --create --zookeeper 192.168.0.10:2181 --replication-factor 3 --partitions 1 --topic test-replicated-topic
查看创建的topic
> bin/kafka-topics.sh --describe --zookeeper 192.168.0.10:2181 --topic my-replicated-topicTopic:test-replicated-topicPartitionCount:1ReplicationFactor:3Configs:Topic: test-replicated-topicPartition: 0Leader: 1Replicas: 1,2,0Isr: 1,2,0
查看集群情况:
>bin/kafka-topics.sh --describe --zookeeper 192.168.0.11:2181 --topic test-replicated-topic
>bin/kafka-topics.sh --describe --zookeeper 192.168.0.10:2181 --topic test-replicated-topic
发现都能看到test-replicated-topic。
注意:使用一台机器,创建3个zookeeper不同端口,3个kafka 不同端口没有成功,和zookeeper集群的端口有关吧,以后会研究一下。
参考资料:
http://kafka.apache.org/documentation.html#quickstart
http://www.jonzobrist.com/2012/04/17/install-apache-kafka-and-zookeeper-on-ubuntu-10-04/
http://www.open-open.com/lib/view/open1387889827593.html
完结。
- kafka学习
- kafka 学习
- kafka学习
- kafka学习
- kafka学习
- kafka学习
- Kafka学习
- kafka学习
- kafka学习
- kafka学习
- kafka学习
- kafka学习七:kafka 运维
- 学习kafka:log4j写入kafka
- Kafka学习笔记:初识Kafka
- Kafka学习笔记
- kafka学习之路
- kafka学习之二
- Kafka学习笔记
- PHP 简介
- 03 - renderInContext:与drawInContext:方法 - 截屏(截图)无法显示子控件
- codeforces->653A. Bear and Three Balls
- Problem A: 删除区间内的元素(线性表)
- OC面向对象深入了解
- kafka学习
- 建立一个文本转换服务器
- TCP协议中的三次握手和四次挥手(图解)
- JDK各个版本的新特性jdk1.5-jdk8
- TCP通信案例分析
- Socket学习(一)
- 案例:演示TCP传输过程的实现
- map contain
- python混合笔记(二)