kafka逻辑示意图以及命令

来源:互联网 发布:管家婆erp是什么软件 编辑:程序博客网 时间:2024/05/17 03:04

了解了下kafka的组成,画了个图,便于后面回顾:


启动kafka
bin/kafka-server-start.sh config/server.properties &
启动一个producer:
bin/kafka-console-producer.sh --broker-list node3:9092 --sync --topic test
启动一个consumer:
bin/kafka-console-consumer.sh --zookeeper node3:2181 --topic test --from-beginning
将一个文件作为producer:
tail -n 0 -f  test.log | bin/kafka-console-producer.sh --broker-list node3:9092 --sync --topic test
通过echo向test.log中追加内容,在customer订阅该topic,可以看到追加的内容。
性能测试:
---创建主题:
bin/kafka-topics.sh --zookeeper node3:2181 --create --topic test-pati1-rep2 --partitions 1 --replication-factor 1
---测试生产者吞吐率:
bin/kafka-producer-perf-test.sh --messages 200000 --message-size 100 --batch-size 1 --topics test-pati1-rep2 --threads 1 --broker-list node3:9092
---测试消费者吞吐率:
bin/kafka-consumer-perf-test.sh --messages 200000 --batch-size 10 --topic test-pati1-rep2 --threads 1 --zookeeper node3:2181
PS:可以partition、messages等参数进行比较测试,线程数比分区数多时没有意义



原创粉丝点击