kafka的安装
来源:互联网 发布:知豆电动车能上高速吗 编辑:程序博客网 时间:2024/06/05 18:02
1、解压kafka软件,到config目录下vi server.properties
2、配置机器序号,比如CentOS16节点borker.id=0
CentOS17节点上面borker.id=1
CentOS18节点上面borker.id=2
3、然后启动每台节点上面的zookeeper。zkServer.sh start
4、每个节点上面执行bin/kafka-server-start.sh config/server.properties
(如果觉得麻烦,可以编写一个脚本startkafka.sh
内容为nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &
然后修改权限:chmod 755 startkafka.sh )
5、创建topic(创建的topic包含三个partitions,topic的名称为demo1)
./kafka-topics.sh –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181 –create –topic demo1 –partitions 3 –replication-factor 3
6、查看kafka中topic列表
./kafka-topics.sh –list –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181
7、查看kafka中topic的描述(查看demo1这个topic信息)
./kafka-topics.sh –describe –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181 –topic demo1
(查看所有./kafka-topics.sh –describe –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181)
8、用一个节点控制台来当kafka的生产者
./kafka-console-producer.sh –topic demo1 –broker-list CentOS16:9092,CentOS17:9092,CentOS18:9092
9、用另一个节点控制台来当kafka的消费者
./kafka-console-consumer.sh –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181 –topic demo1
(关闭消费者的客户端,再次启动,如果想看之前的记录,则
./kafka-console-consumer.sh –zookeeper CentOS16:2181,CentOS17:2181,CentOS18:2181 –topic topic2017 –from-beginning)
查看zookeeper中topic相关信息:
启动zookeeper客户端:
./zkCli.sh
查看topic相关信息:
ls /brokers/topics/
查看消费者相关信息:
ls /consumers
比如查看序号为2的这台节点在topic2017上面的消费
get /consumers/console-consumer-5036/offsets/topic2017/2
kafka的leader的均衡机制
在配置文件conf/server.properties中配置开启(默认开启):
auto.leader.rebalance.enable true
其他配置:
预写日志:
spark.streaming.receiver.writeAheadLog.enable 默认false没有开启
blockInterval:
spark.streaming.blockInterval 默认200ms
反压机制:
spark.streaming.backpressure.enabled 默认false
接收数据速率:
spark.streaming.receiver.maxRate 默认没有设置
删除topic,以demo1为例
第一步:找到/opt/kafka-logs/ 目录下,删除所有demo1开头的文件
第二步:进入zookeeper客户端,rmr /brokers/topics/demo1
第三步:在zookeeper客户端,rmr /admin/delete_topics/demo1
- Kafka的安装测试
- Kafka的安装
- kafka的安装
- Kafka的安装测试
- kafka的安装
- KAFKA的安装配置
- kafka的安装部署
- kafka的windows安装
- kafka的安装
- Kafka学习(四):Kafka的安装
- 安装kafka以及kafka的简单运行
- kafka的安装和调试
- kafka的安装和配置
- Kafka的安装及测试
- kafka消息队列的安装
- Kafka学习之:Centos 下Kafka集群的安装
- kafka的监控工具--kafka web console安装
- kafka介绍,安装以及简单的java调用kafka代码
- 编译原理
- Autodesk Showcase 2017破解教程(附加下载地址/序列号)
- SDUT-3399-->数据结构实验之排序二:交换排序
- 176. Spring Boot WebSocket:汇总篇
- nodejs学习笔记3
- kafka的安装
- 正则表达式
- IPv4与IPv6数据报格式详解
- 年末
- mysql 让清空表且自增的id重新从0开始的命令
- 《剑指offer》刷题笔记(树):把二叉树打印成多行
- NOIP 2011 提高组 聪明的质监员
- Python】Pandas的apply函数使用示例
- Oracle查询数据库锁表和解除锁表