Apache Kafka-个人翻译(入门kafka资料)-Introduction

来源:互联网 发布:特色课程优化基本设想 编辑:程序博客网 时间:2024/06/10 10:42

http://kafka.apache.org/

Introduction

Kafka是一个分布式流平台(distributed stream platform)。
流平台(stream platform)具有三个关键功能:
它让你发布和订阅记录流。在这方面,它类似于消息队列或企业消息系统。
它让我们以容错方式存储记录流。
它让你处理记录的流发生时。
Kafka有哪些好处?
它用于两大类应用程序:
构建在系统或应用程序之间可靠地获取数据的实时流数据管道。
构建变换或响应数据流的实时流应用程序。
要了解Kafka如何做这些事情,让我们从下而上地探索和探索Kafka的能力。
首先几个概念:
Kafka作为一个群集在一个或多个服务器上运行。
Kafka集群将类别(categories)中的记录流(streams of records)称为topics。
每个记录(record)由一个键,一个值和一个时间戳组成。
Kafka有四个核心API:
Producer API允许应用程序(application)将流记录发布到一个或多个Kafka topics。
Consumer API允许应用程序订阅一个或多个topics,并处理收到的记录流。
Streams API允许应用程序充当流处理器,消耗来自一个或多个topics的输入流,并产生到一个或多个输出topics的输出流,有效地将输入流转换为输出流。
Connector API允许构建和运行可重用的生产者或消费者,将Kafka topics连接到现有应用程序或数据系统。 例如,关系数据库的连接器可能捕获到的每个更改.

0 0
原创粉丝点击