Kafka学习(一)配置及简单命令使用
来源:互联网 发布:linux脚本读取文件 编辑:程序博客网 时间:2024/06/15 02:52
一. Kafka中的相关概念的介绍
Kafka是一个scala实现的分布式消息中间件,其中涉及到的相关概念如下:
- Kafka中传递的内容称为message(消息),message 是通过topic(话题)进行分组的 topic 和message 的关系是一对多的关系
- 我们称发布message的进程为producer ,就是说producer生成<topic->message>对然后 丢进kafka集群
- 相对应的称订阅topic处理对应message的进程为consumer
- Kafka集群中的节点被称为broker
附加个图说明下:http://kafka.apache.org/documentation.html#introduction
二. Kafka中的关键参数的配置
Broker(集群总的节点)配置
broker.id : 唯一确定的一个int 类型数字
broker.id : 唯一确定的一个int 类型数字
log.dirs :存储kafka数据,默认路径 为/tmp/kafka-logs
port:comsumer连接的端口号
zookeeper.conect: zookeeper的链接字符串,定义的格式如下 hostname1:port1,hostname2:port2,hostname3
num.partitions : 一个topic可以被分成多个paritions 管道,每个partiions中的message有序但是多个paritions中的顺序不能保证
2.Consumer 配置
group.id :string 类型 标志consumer隶属的consumer process 组
zookeeper.connect: hostname1:port1,hostname2:port2(/chroot/path 统一数据存储路径)
zookeeper 中存储了kafka的comsumers和brokers(包括topic和partition)的基本信息
3.Producer配置
metadata.book.list :host1:port1,host2:port2
request.required.acks: 0.数据完成就直接提交(可能在服务器崩溃了的时候丢失数据)
1.wait until the server acknowledges the request as successful
-1.no messages lost
producer.type : 确定messages是否同步提交 sync
serializer.class :kafka.serializer.DefaultEncoder message 的序列化类,默认编码器处理类型都是byte[]类型
三.Kafka的简单命令
Step 1: 启动服务器
首先启动zookeeper
> bin/zookeeper-server-start.sh config/zookeeper.properties
(远程启动的时候需要在后面加上一个 & 作为后台进程,然后断开和远程的链接)
接着启动kafka服务器> bin/kafka-server-start.sh config/server.properties
Step 2: 创建 一个 topic
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
> bin/kafka-topics.sh --list --zookeeper localhost:2181
Step 3: Send some messages
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test This is a messageThis is another message
Step 4: 启动一个客户端(消费者)
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
0 0
- Kafka学习(一)配置及简单命令使用
- Kafka配置及使用
- Kafka学习(一):Kafka背景及架构介绍
- Kafka学习(一):Kafka背景及架构介绍
- Kafka入门及使用(一)- kafka架构介绍
- kafka学习 (一)集群安装配置
- Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
- Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
- Kafka原理介绍及使用配置
- Kafka学习1_kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
- Hibernate学习一:配置及简单实例的创建过程
- kafka安装及命令
- PHP - Smarty模版使用(一) - 配置及简单调试
- kafka简单配置测试
- kafka安装及配置
- Linux学习笔记 -- day04 配置及使用 rz/sz 命令
- Mongodb学习日志(一):安装使用及简单操作
- kafka使用命令
- hdu1502 大数dp
- 从零3D根蒂根基入门XNA 4.0
- shell_wget自动下载脚本
- Autocomplection in RichEdit Control
- Qt中moc详解
- Kafka学习(一)配置及简单命令使用
- 概率随机问题
- Java原书第8版(第二章练习)
- Elasticsearch的javaAPI之facet,count,delete by query
- 邮件系统postfix安装与配置
- web.xml文件详解
- poj 2409 poj 1286【马克】
- Hdu-1116 Play on Words
- Java游戏编程前篇 修改eclipse背景颜色