kafka本地搭建流程
来源:互联网 发布:xbox网络teredo不合格 编辑:程序博客网 时间:2024/05/22 16:33
此搭建过程操作系统基于ubuntu 14.04.3,zookeeper 3.4.6,kafka 2.10-0.8.2.1
zookeeper
安装
wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gztar zxvf zookeeper-3.4.6.tar.gzcd zookeeper-3.4.6cp -rf conf/zoo_sample.cfg conf/zoo.cfgcd confvim zoo.cfg
最后一步打开zoo.cfg,修改dataDir为自定义文件夹路径,例如:
dataDir=/Users/echo/zookeeper-3.4.6/zkdata
启动
cd bin
sh zkServer.sh start
这一步可能会出现以下错误:
zkEnv.sh: Syntax error: "(" unexpected (expecting "fi")
这个错误的起因是ubuntu的设置问题,解决方案:
然后重启zookeeper即可
以上为zookeeper的安装和启动,接下来是kafka的安装
kafka
安装
wget http://apache.fayea.com/kafka/0.8.2.1/kafka_2.10-0.8.2.1.tgz
tar -zxf kafka_2.10-0.8.2.1.tgz
启动
cd kafka_2.10-0.8.2.1
sh bin/kafka-server-start.sh config/server.properties
启动过程中可能会出现 replication factor: 1 larger than available brokers: 0 问题,解决方案如下:
复制kafka/config路径下的server.properties文件为:server-1.properties和server-2.properties并修改这两个文件的配置项:
server-1.properties
broker.id=1
port=9093
log.dir=/tmp/kafka-logs-1
host.name=localhostserver-2.properties
broker.id=2
port=9094
log.dir=/tmp/kafka-logs-2
host.name=localhostbroker.id、port、log.dir在这三个配置项中都不一样。
修改完成之后启动:
./kafka-server-start.sh ../config/server.properties &
./kafka-server-start.sh ../config/server-1.properties &
./kafka-server-start.sh ../config/server-2.properties &前一个启动可能还会报这个错,继续启动,都启动成功之后这个问题就解决了!
创建topic
sh kafka-topics.sh --create --topic kafkatopic --replication-factor 1 --partitions 1 --zookeeper localhost:2181
此topic的名称的kafkatopic,partitions设置为1,链接的zookeeper为localhost:2181
启动生产者
sh kafka-console-producer.sh --broker-list localhost:9092 --sync --topic kafkatopic
启动消费者
sh kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning
如果启动不成功,需要查看kafka/config文件夹下的server.properties中的配置是否正确,其中需要重点注意的有:
port , hostname , advertised.host.name ,
以上
- kafka本地搭建流程
- kafka本地测试环境搭建
- php 项目本地搭建流程
- WordPress网站本地搭建流程
- Kafka简介及集群搭建详细流程
- 大数据_Kafka_搭建Kafka伪集群(本地集群)
- Docker下kafka学习,三部曲之二:本地环境搭建
- 搭建本地SVN服务器完整流程
- Mac搭建本地Svn流程,并解决问题
- 【Kafka】Kafka集群搭建
- kafka搭建
- kafka搭建
- kafka搭建
- kafka搭建
- kafka搭建
- 搭建kafka
- kafka本地环境的搭建,以及本地java测试的调用
- Spark Streaming 实战(1)搭建kafka+zookeeper+spark streaming 的windows本地开发环境
- Struts2中的数据类型转换
- c++:String
- 第一章 Shiro简介
- ssm+shiro框架搭建笔记(3)
- Keil调试时如何查询err_code
- kafka本地搭建流程
- log4j2如何读取环境变量(配置日志相对路径时用到了)
- AEAI DP V3.8.0 升级说明,开源综合应用开发平台
- Oracle数据库的SQL查询语句查询每个用户最近一次的登录记录并且只显示一条
- Git命令
- java中接口的属性、方法的默认修饰符和类的属性、访问修饰符的区别
- php 小数整理,向上取整,向下去整,四舍五入,丢弃小数部分,保留整数部分
- java的class文件反编译
- bash数组和字典