Kafka单机、集群模式安装详解(一)
来源:互联网 发布:战舰世界德克萨斯数据 编辑:程序博客网 时间:2024/05/24 15:39
本文环境如下:
操作系统:CentOS 6 32位
JDK版本:1.8.0_77 32位
Kafka版本:0.9.0.1(Scala 2.11)
1. 所需要的环境
Kafka需要以下运行环境:
Java 安装参考CentOS 6使用rpm方式安装JDK8
Zookeeper 安装参考:CentOS下ZooKeeper单机模式、集群模式安装
2. 下载、解压Kafka安装包
Kafka官网地址: http://kafka.apache.org/
例如:
wget "http://mirrors.hust.edu.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz"tar -xzvf kafka_2.11-0.9.0.1.tgzmv kafka_2.11-0.9.0.1 /opt/
3. 配置环境变量(可选)
将kafka_2.11-0.9.0.1/bin添加到path,以方便访问
vi /etc/profile
在末尾添加:
KAFKA_HOME=/opt/kafka_2.11-0.9.0.1PATH=$PATH:$KAFKA_HOME/bin
4. 启动单机模式
4.1 修改配置文件
cd /opt/kafka_2.11-0.9.0.1/configvi server.properties
修改配置文件中的以下内容:
broker.id=0 //为依次增长的:0、1、2、3、4,集群中唯一idlog.dirs=/opt/kafka_2.11-0.9.0.1/logs //日志地址zookeeper.connect=master:2181,slave1:2181,slave2:2181 //zookeeperServers列表,各节点以逗号分开
4.2 启动程序
先要确保zookeeper
已启动,然后在Kafka目录执行
nohup bin/kafka-server-start.sh config/server.properties&
如果无报错则说明启动成功。nohup &
是实现在后台启动。
4.3 简单测试
打开2个终端,分别在Kafka目录执行以下命令
启动producer
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
启动consumer
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
在producer的命令行输入任意字符,观察consumer是否能正确接收。
5. 常见错误
5.1 启动Kafka时出现
Java HotSpot(TM) Server VM warning: INFO: os::commit_memory(0x67e00000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)## There is insufficient memory for the Java Runtime Environment to continue.# Native memory allocation (mmap) failed to map 1073741824 bytes for committing reserved memory.# An error report file with more information is saved as:# /opt/kafka_2.11-0.9.0.1/hs_err_pid2249.log
错误原因:
Kafka默认使用-Xmx1G -Xms1G
的JVM内存配置,如果机器内存较小,需要调整启动配置。
打开/config/kafka-server-start.sh,修改 export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
为适合当前服务器的配置,例如export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
1 0
- Kafka单机、集群模式安装详解(一)
- Kafka单机、集群模式安装详解(一)
- Kafka单机、集群模式安装详解(二)
- kafka安装(单机模式)
- zookeeper单机/集群安装详解
- spark安装和集群单机模式
- Presto单机/集群模式安装笔记
- zookeeper单机、集群安装、zoo配置详解
- Kafka单机模式搭建
- kafka单机安装
- 单机安装kafka
- Kafka单机安装
- kafka安装单机
- KaFka单机安装
- Kafka教程(一)---------------kafka环境的部署(单机版/集群版)
- Kafka安装配置(集群模式)
- kafka学习 (一)集群安装配置
- CentOS下ZooKeeper单机模式、集群模式安装
- Mybatis调用sqlserver2008存储过程
- 友情链接
- 4EC
- 深度学习中的非线性激励函数以及unsupervised pre-training
- IOS中可以一个多个xib文件对应一个类。当然也可以在一个Xib中创建多个view然后也是用一个类控制
- Kafka单机、集群模式安装详解(一)
- MyBatis的几种批量操作
- collection 集合基本结构
- 算法和数据结构常考知识汇总--链接
- servlet与spring中的url映射
- Tomcat8 Caused by: java.lang.OutOfMemoryError: PermGen space错误解决方法
- CentOS/Linux 网卡设置 IP地址配置
- Android 重新编译资源文件(touch)
- JS和JSP的区别