Kafka(自带的zookeeper)集群搭建详细步骤
来源:互联网 发布:.win域名备案 编辑:程序博客网 时间:2024/06/05 16:32
Kafka集群搭建
1、 Kafka的安装需要java环境,cent os 7自带java1.6版本,可以不用重新安装,直接使用自带的jdk 即可;如果觉得jdk版本太旧,也可以自己重新安装;
2、 准备好kafka安装包,官网下载地址:
http://kafka.apache.org/downloads.html
3、 下载好kafka安装包后,将其解压到/usr/local目录下,删除压缩包
4、 目前搭建了三个节点的kafka集群,分别在10.10.67.102,10.10.67.104和10.10.67.106服务器上;
5、 查看配置文件
进入kafka的config的目录:
6、 先建立zk集群,直接使用kafka自带的zookeeper建立zk集群,修改zookeeper.properties文件:
三个机器上的zookeeper.properties文件配置相同,需要注意的是日志保存的路径,不会自动生成,需要自己手动建立相关的路径, dataLogDir是我自己加的,日志文件太多,把日志文件区分开;
7、 创建myid文件,进入/usr/local/kafka/zookeeper,创建myid文件,将三个服务器上的myid文件分别写入1,2,3,如图:
—-myid是zk集群用来发现彼此的标识,必须创建,且不能相同;
8、 进入kafka目录 执行启动zookeeper命令:
./bin/zookeeper-server-start.sh config/zookeeper.properties &
三台机器都执行启动命令,查看zookeeper的日志文件,没有报错就说明zookeeper集群启动成功了。
9、 搭建kafka集群,修改server.properties配置文件:
server.properties配置文件的修改主要在开头和结尾,中间保持默认配置即可;需要注意的点是broker.id的值三个节点要配置不同的值,分别配置为0,1,2;log.dirs必须保证目录存在,不会根据配置文件自动生成;
10、 启动kafka集群,进行kafka集群测试,执行如下命令 :
创建Topic --replication-factor 是和配置文件配置num.partitions=1有关 不能大于这个值
bin/kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node3:2181 --replication-factor 1 --partitions 3 --topic kfk
创建生产者
bin/kafka-console-producer.sh --broker-list 10.1.2.20:9092,10.1.2.105:9092,10.1.2.106:9092 --topic kfk
创建消费者
bin/kafka-console-consumer.sh --zookeeper 10.1.2.20:2181,10.1.2.105:2181,10.1.2.106:2181 --from-beginning --topic kfk
- Kafka(自带的zookeeper)集群搭建详细步骤
- Kafka集群搭建(使用kafka自带的zookeeper)
- 使用自带Zookeeper搭建kafka集群
- Kafka集群搭建详细步骤
- Kafka集群搭建详细步骤
- Kafka集群搭建详细步骤
- ZooKeeper集群搭建详细步骤
- Zookeeper+Kafka集群搭建
- kafka+zookeeper集群搭建
- zookeeper+kafka集群搭建
- Zookeeper + Kafka 集群搭建
- Kafka 集群搭建步骤
- kafka集群搭建步骤
- Zookeeper 集群+kafka集群+kafka manager搭建
- zookeeper集群搭建步骤
- kafka三个节点集群环境搭建-详细步骤
- Zookeeper与Kafka集群搭建
- Zookeeper与Kafka集群搭建
- PLSQLDeveloper单独配置的参数
- Drawable基础知识总结
- 异常类-File类-IO流
- Tp3.2 学习
- java排序Comparator基本用法
- Kafka(自带的zookeeper)集群搭建详细步骤
- Hadoop集群多用户部署
- MD5加密!对密码进行MD5加密和验证
- 微信小程序实现控制标题栏背景色
- [uboot] (第六章)uboot流程——命令行模式以及命令处理介绍
- mac修改mysql的账号密码 初始化账号密码
- SpringBoot集成dubbo
- Linux常用服务配置(Java开发) 一
- fastxml Jackson