Apache Kafka安装配置
来源:互联网 发布:文件隐藏加密软件 编辑:程序博客网 时间:2024/06/04 18:45
一、准备工作
1)下载安装jdk-7u65-linux-i586.gz,配置Java环境变量 ,下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
2)下载Kafka最新版本kafka_2.10-0.8.1.1.tgz,使用命令tar -xzf kafka_2.10-0.8.1.1.tgz 解压到你想要的目录,我这里使用 /home/hadoop,下载地址:http://kafka.apache.org/downloads.html
二、单节点安装
1)Kafka启动用到Zookeeper,可以使用Kafka安装包中的脚本启动一个单例的zookeeper实例。
> cd kafka_2.10-0.8.1.1
> bin/zookeeper-server-start.sh config/zookeeper.properties
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
...
启动Zookeeper成功!
注:如果发现报Unrecognized VM option 'UseCompressedOops'异常,可以删除bin/kafka-run-class.sh中 -XX: UseCompressedOops
2)启动Kafka服务
> bin/kafka-server-start.sh config/server.properties
[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)...
启动Kafka服务成功!
3)测试
以上单节点方式已经安装就绪,进行如下测试
1.创建主题(Topic)
创建一个只包含一个分区和一个副本主题名为"test"的主题
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
2.查看所有主题(Topic)> bin/kafka-topics.sh --list --zookeeper localhost:2181test3.发送消息(生产者)
Kafka使用命令行客户端从文件或者标准输入获取数据然后将其作为消息发送到Kafka集群,默认每一行作为单独的一个消息。
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a messageThis is another message
这里向集群发送两条消息,分别是this is a message和This is another message
4.接受消息(消费者)> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
This is a messageThis is another message
可以使用上面命令在多个终端运行,可以接收到所订阅主题的消息。
三、集群安装
上述是单节点上的配置过程,下面介绍三个节点集群环境的配置过程。
1)在多个服务器上安装配置独立的zookeeper,可参考http://www.blogjava.net/BucketLi/archive/2010/12/21/341268.html
这里三台服务器IP分别是:192.168.1.1,192.168.1.2,192.168.1.3. 节点1(192.168.1.1)的配置zoo.cfg如下:
#autopurge.purgeInterval=1
server.1=192.168.1.1:2888:3888server.2=192.168.1.2:2888:3888server.3=192.168.1.3:2888:3888在zookeeper的bin目录下分别执行.zkServer.sh start 启动zookeeper
2)上述准备工作中,我们已经在三台服务器的/home/hadoop/目录上解压kafka_2.10-0.8.1.1.tgz 先对IP为192.168.1.1这台服务器进行配置,
根据如下对KAFKA_HOME/config/server.properties文件进行修改(KAFKA_HOME为kafka的安装目录):
broker.id=0(每个节点必须唯一)
log.dir=/home/hadoop/kafka_2.10-0.8.1.1/logs (手动创建logs目录)
zookeeper.connect=192.168.1.1:2181
192.168.1.2:
broker.id=1(每个节点必须唯一)
log.dir=/home/hadoop/kafka_2.10-0.8.1.1/logs (手动创建logs目录)
zookeeper.connect=192.168.1.1:2181
192.168.1.3:
broker.id=2(每个节点必须唯一)
log.dir=/home/hadoop/kafka_2.10-0.8.1.1/logs (手动创建logs目录)
zookeeper.connect=192.168.1.1:2181
分别在三台服务器上执行以下命令启动kafka
> cd KAFKA_HOME/bin
>nohup ./kafka-server-start.sh ../config/server.properties &
3)以上安装完毕,进行测试
1.创建主题(Topic)
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic aaaa
执行上述命令后将创建my-replicated-topic主题,其包含三个副本和一个分区
2.查看主题(Topic)
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic aaaa
Topic:aaaa PartitionCount:1 ReplicationFactor:3 Configs:Topic: aaaa Partition: 0 Leader: 1 Replicas: 1,0,2 Isr: 1,0,2
上述命令可以查看aaaa主题的描述信息
3.发送消息(生产者)
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic aaaa...my test message 1my test message 2^C
上述命令打开消息生产控制端,可以将输入的消息发送到aaaa主题,然后使用Ctrl+C打断。
4.接收消息(消费者)
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
在控制终端可以查看到以下信息:
... my test message 1 my test message 2 ^C
5.容错测试
> jps -l| grep kafka
8077 kafka.Kafka
> kill -9 8077
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic aaaa Topic:my-replicated-topicPartitionCount:1ReplicationFactor:3Configs: Topic: my-replicated-topicPartition: 0Leader: 2Replicas: 1,2,0Isr: 2,0
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic ... my test message 1 my test message 2 ^C
kill掉leader节点后,内部会自动选举其他节点为leader,消息仍然可以接收。
(完)
0 0
- Apache Kafka安装配置
- Apache-Kafka集群安装
- Apache Kafka 分布式消息队列中间件安装与配置
- Apache Kafka 分布式消息队列中间件安装与配置
- Apache kafka之旅——linux 安装配置
- 【Apache KafKa系列之一】KafKa安装部署
- 【Apache Kafka】安装升级指南
- Apache Kafka -3 安装步骤
- Kafka 安装配置
- kafka安装配置简介
- kafka安装配置
- Kafka安装与配置
- 安装配置kafka集群
- kafka集群安装、配置
- 安装配置Kafka
- kafka集群安装配置
- Kafka安装配置测试
- Kafka 安装配置
- 工作日志140804
- Struts2内置校验器
- iptables中DNAT与SNAT的理解
- IOS开发之__bridge,__bridge_transfer和__bridge_retained
- 強悍的Linq
- Apache Kafka安装配置
- UVA 437 - The Tower of Babylon (DAG)
- Code::Blocks项目配置基础
- 浅谈手机app的推广
- POJ 2299 离散化线段树
- 113_tabhost
- Flex入门(三)——微架构之Cairngorm
- C语言 编译、链接、全局变量
- 解决安装Ubuntu之后找不到无线网卡驱动的问题