KAFKA知识(SHELL命令)

来源:互联网 发布:舍恩伯格大数据思维 编辑:程序博客网 时间:2024/06/09 21:39

Kafka启动与停止

broker:9092,zookeeper:2181

启动kafka命令:

nohup /soc/kafka/bin/kafka-server-start.sh /soc/kafka/config/server.properties >/dev/null 2>&1 &

停止kafka命令:

pkill -9 -f config/server.properties

注意: server.properties为相对路径 根据实际情况修改

Kafka基本操作

注意:Logs为主题topic 根据实际情况修改
消费监控命令:
/kafka/bin/kafka-console-consumer.sh --zookeeper 10.2.4.12:2181,10.2.4.13:2181,10.2.4.14:2181 --topic Logs 
生产监控命令:
/kafka/bin/kafka-console-producer.sh --broker-list 10.2.4.12:9092,10.2.4.13:9092,10.2.4.14:9092 --topic Logs
创建topic命令:
/kafka/bin/kafka-topics.sh --create --zookeeper 10.2.4.12:2181,10.2.4.13:2181,10.2.4.14:2181 --replication-factor 1 --partitions 1 --topic Logs
/kafka/bin/kafka-topics.sh --create --zookeeper 10.2.4.12:2181,10.2.4.13:2181,10.2.4.14:2181 --replication-factor 3 --partitions 3 --topic Logs

这条命令会创建一个名为Logs的topic,有3个分区,每个分区需分配3个副本,replication-factor 为副本参数,partitions为分区参数。


Kafka主题删除方案

方案一删除:
(1)/kafka/bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic Logs --zookeeper 10.2.4.12:2181,10.2.4.13:2181,10.2.4.14:2181
(2)/kafka/bin/kafka-topics.sh --zookeeper 10.2.4.12:2181,10.2.4.13:2181,10.2.4.14:2181 --delete --topic adtest

kafka 删除topic 提示marked for deletion 没有被真正删除 如果需要真正删除 需要在server.properties 配置标签delete.topic.enable=true

方案二测底删除:

(1)登录zookeeper客户端:

./bin/zookeeper-client
(2)找到topic所在的目录:
ls /brokers/topics
(3)找到要删除的topic,执行命令:
rmr /brokers/topics/【topic name】
即可,此时topic被彻底删除。

Kafka查看主题命令

查看当前存在那些topic命令:
/kafka/bin/kafka-topics.sh --list --zookeeper 10.2.4.12:2181,10.2.4.13:2181,10.2.4.14:2181
查看topic分区详情命令:
/kafka/bin/kafka-topics.sh --describe --zookeeper 10.2.4.12:2181,10.2.4.13:2181,10.2.4.14:2181 --topic Logs