kafka安装配置
来源:互联网 发布:认识奢侈品的软件 编辑:程序博客网 时间:2024/05/29 15:10
http://kafka.apache.org/
- Kafka是一个分布式的流处理平台(0.10.x版本),在kafka0.8.x版本的时候,kafka主要是作为一个分布式的、可分区的、具有副本数的日志服务系统(Kafka™ is a distributed, partitioned, replicated commit log service), 具有高水平扩展性、高容错性、访问速度快、分布式等特性;主要应用场景是:日志收集系统和消息系统
安装配置步骤
step1:拷贝软件包
step2:解压
tar -xvf kafka_2.9.2-0.8.1.1.tgz 或者用 unzip kafka_2.9.2-0.8.1.1.zip
修改配置文件conf/server.properties: broker.id=0 host.name=10.100.5.9 zookeeper.connect=10.100.5.9:2181可逗号分隔配置多个
step3: 确保有执行权限
chmod +x sbin/*
step4:修改配置文件vim log4j.properties
log4j.appender.D.File = /data1/home/shaka/kafka/kafka_2.9.2-0.8.1.1/logs/debug.log log4j.appender.E.File = /data1/home/shaka/kafka/kafka_2.9.2-0.8.1.1/logs/error.log
(补充:在kafka的logs文件没有debug.log和error.log 文件,需要自己新建这两个文件:touch debug.log 和 touch error.log
然后把上面两行粘进去,并把路径分别改为指向自己新建的debug.log和error.log文件)
Step5:启动kafka服务
sbin/start-kafka.sh
查看是否启动: jsp -l
[如果有kafka出现就说明启动成功]
step6:创建topic主题:
bin/kafka-topics.sh --create --zookeeper192.168.1.5:2181 --replication-factor 1 --partitions 1 --topic zhangyonghong
【启动consumer和productor是在两个不同的终端里运行的,注意!】
启动consumer
bin/kafka-console-consumer.sh --zookeeper 192.168.1.5:2181 --topic zhangyonghong
启动productor
bin/kafka-console-producer.sh --broker-list 192.168.1.5:9092 --topic zhangyonghong
在productor端输入,看consumer端的输出。
productor端
[user@localhost kafka_2.11-0.10.0.1]$ bin/kafka-console-producer.sh --broker-list 192.168.1.5:9092 --topic zhangyonghongsdfsdsdfsdfzhangyonghongclearproducezhangyonghong
consumer端
[user@localhost kafka_2.11-0.10.0.1]$ bin/kafka-console-consumer.sh --zookeeper 192.168.1.5:2181 --topic zhangyonghong[2017-04-23 15:06:29,553] WARN Connected to an old server; r-o mode will be unavailable (org.apache.zookeeper.ClientCnxnSocket)[2017-04-23 15:06:30,262] WARN Connected to an old server; r-o mode will be unavailable (org.apache.zookeeper.ClientCnxnSocket)sdfsdsdfsdfzhangyonghongclearproducezhangyonghong
生产者生产什么,消费者就消费什么。也就是说,在productor端输入什么,consumer端就会输出什么。
补充材料:
server.properties配置文件中的参数的意思
http://blog.csdn.net/lizhitao/article/details/25667831
接下来了解一下配置文件的作用
【kafka-topics.sh】【log4j.properties 】【server.properties 】
0 0
- Kafka 安装配置
- kafka安装配置简介
- kafka安装配置
- Apache Kafka安装配置
- Kafka安装与配置
- 安装配置kafka集群
- kafka集群安装、配置
- 安装配置Kafka
- kafka集群安装配置
- Kafka安装配置测试
- Kafka 安装配置
- Kafka安装配置、常用命令
- Linux安装配置Kafka
- kafka安装配置
- kafka安装配置
- Kafka安装配置测试
- kafka配置以及安装
- kafka安装与配置
- tab选项卡切换(借鉴积累)
- Matlab常用的标记符号和颜色
- JS:类型转换string 转换成为 number
- Assign Cookies
- const int a; int const a; const int *a; int * const a; int const * const a ; const int * const 之间的区别
- kafka安装配置
- redis 介绍
- 回溯法与N皇后问题
- 【IMWeb训练营作业】select组件
- box-shadow的总结
- Android商品展示实验
- 如何让SQL语句不执行默认排序,而是按照in语句的顺序返回结果
- 日常。。。续
- 商品展示