初识Kafka----个人理解，希望对喜欢kafka的朋友有帮助

来源：互联网发布：linux查看当前进程编辑：程序博客网时间：2024/05/17 00:16

1、什么是kafka?

kafka是一个发布订阅系统，主要用作缓存

2、核心概念

首先kafka是一个集群，有很多个节点组成。

Broker['brəʊkə]:节点名称每一个节点称作broker

message ['mesɪdʒ】:就是指发布到kafka的每一条记录。

Message queue:消息队列

Topic['tɒpɪk]:就是主题，意思是一类消息。我们发送消息时必须指明主题，它可以是订单topic/日志topic。

partition:分区。一个topic可以有多个partition[一个message只能属于一个topic中的某一个partition。目的是为了让同一个topic的数据分散到不同的broker上，实现负载均衡] 例如：订单topic可以按照ip分为不同的partition，一个partition中的数据在一个broker中存储

repilca ['rɛplɪkə]:相当于把topic的内部消息存放多分在不同的broke上，相当于备份，保证数据的安全

producer:生产者，负责发布消息到kafka的broker

consumer[kən'sjuːmə]:消费者指订阅消息。

offset(偏移量):偏移量实际上就是数据的索引，类似于数组中的下标；而在kafka中偏移量则指行号。

3.安装kafka

第一：在使用kafka时先有zookeeper的存在；

安装zookeeper-3.4.5.tar.gz上传到linux上

tar -zxvf zookeeper-3.4.5.tar.gz -C /hadoop

mv zookeeper-3.4.5.tar.gz zookeeper

cd /hadoop/zookeeper/conf

mv zoo-s...cfg zoo.cfg

1步：dataDir=/hadoop/zookeeper/data

2步：添加

ckTime=2000

initLimit=10

syncLimit=5

clientPort=2181

在zookeeper下mkdir data--->vi myid--->1 2 3

./zkS...sh start

第二：上传kafka_2.11-0.8.2.2.tgz

tar -zxvf kafka_2.11-0.8.2.2.tgz -C /hadoop

cd kafka_2.11-0.8.2.2

配置环境变量

vi /etc/profile
export KAFKA_HOME=/hadoop/kafka_2.11-0.8.2.2
export PATH=$PATH:$KAFKA_HOME/bin

配置文件server.properties 主要参数

broker.id=115
host.name=192.168.8.115
advertised.host.name=192.168.8.115
num.partitions=2
log.dirs=/hadoop/zookeeper/kafka-logs [自己创建的存放kafka日志的文件路径]
zookeeper.connect=192.168.8.115:2181

启动服务之前确保zookeeper 服务是启动的

./bin/kafka-server-start.sh config/server.properties &

这时jps呈现的结果如下：

阅读全文

1 0