Kafka系列二之部署与使用
来源:互联网 发布:微信网页授权登录源码 编辑:程序博客网 时间:2024/05/31 18:48
Kafka部署与使用
写在前面
从上一篇Kafka的架构介绍和安装中,可能,你还一直很蒙,kafka到底该怎么使用呢?接下来,我们就来介绍Kafka的部署与使用。上篇文章中我们说到,Kafka的几个重要组成是:1.producer 2.consumer 3.broker 4.topic .因此我们就是围绕这几个组件来使用我们的Kafka.
如何开始呢?
我们查看官网上面是如何说的,http://kafka.apache.org/quickstart。
接着,第二步,我们启动了一个kafka的server,下面就是应该开始Create a topic
Step 1: Create a topic
bin/kafka-topics.sh –create –zookeeper localhost:2181
–replication-factor 1 –partitions 1 –topic test
解释:
–zookeeper:创建的时候必须指定zk的地址
–replication-factor 副本系数
–partitions 分区数
查看topic
bin/kafka-topics.sh –list –zookeeper localhost:2181
[hadoop@hadoop000 ~]$ kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1Created topic "test1".[hadoop@hadoop000 ~]$
Step 2:Send some messages
bin/kafka-console-producer.sh –broker-list localhost:9092 –topic test
–broker-list 生产的消息放在什么地方(这个地址是之前的broker设置的)
–topic 打上之前的标签
Step 3: Start a consumer
bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic test –from-beginning
–bootstrap-server :文档的误差
这里应该修改为—zookeeper,所以后面的端口也是应该修改的
命令:
kafka-console-consumer.sh –zookeeper hadoop000:2181 –topic hello_topic –from-beginning
–from-beginning 加上这个参数可以接收到之前的数据
不加这个参数的话 只能够收到执行这条命令之后的,生产者生产的数据
到这里我们就部署完成了。开始测试:
ok,我们生产者生产的消息,消费者全部都是接收到了的
这里说明一下,在大数据的场景中,我们的生产者一般都是Flume的sink端,即Flume把数据输出到Kafka中去。然后,我们的消费者,就是SparkStreaming等数据处理的东西,后面,我们就来实现flume=>Kafka==>>SparkStreaming的对接…..
- Kafka系列二之部署与使用
- kafka系列之集群部署使用(二)
- Kafka(二): Kafka 集群部署与使用
- apache kafka系列之安装与使用
- kafka部署与简单使用
- java系列之zokeeper与kafka安装使用
- kafka系列之安装及初步使用,单节点部署使用(一)
- 【KafKa系列】KafKa安装部署
- kafka部署二
- Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
- Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
- 【Apache KafKa系列之一】KafKa安装部署
- kafka入门系列二
- Kafka使用入门教程之二--搭建Kafka运行环境
- Kafka系列之-Kafka入门
- Kafka部署和使用
- Kafka组件研究<二>----Kafka部署
- 详解DMZ的部署与配置:ISA2006系列之二十九
- Elasticsearch生成json,创建索引(把数据写入索引中)
- 转载一个大神的函数
- [数据结构课设]汽车租借公司的管理
- 图像的旋转操作
- SDL_CondSignal与SDL_CondWait用法
- Kafka系列二之部署与使用
- nginx 负载均衡5种配置方式
- Tomcat-高并发并设置
- 反引号
- teamviewer 安装成功
- 对CNN感受野一些理解
- fastjson简单运用
- Intellij IDEA Cannot resolve symbol XXX 问题解决办法汇总
- springMVC以及springBoot中的定时任务