centos6.5 安装kafka2.11
来源:互联网 发布:python实例教程 编辑:程序博客网 时间:2024/06/05 19:56
KAFKA (分布式实时消息队列系统)
本程序安装在普通用户hadoop下
1. cd /bin
2. tar -zxvf kafka_2.11-0.9.0.0.tgz
3. tar –zxvf scala-2.11.4.tar.gz
4. 切换root
5. vi /etc/profile
添加
export SCALA_HOME=/home/hadoop/scala-2.11.4export PATH=$PATH:$SCALA_HOME/bin
source /etc/profile
5 . 配置config/server.properties
cd /home/hadoop/kafka_2.11-0.9.0.0/config
vim server.properties
broker.id为依次增长的:0、1、2、3、4,集群中唯一id(可以和zookeeper中的myid不一样,因为不是所有的zookeeper做BROKER)
num.network.threads
num.partitions ,建立topic时默认分区数
num.io.threads 建议值为机器的核数;
zookeeper.connect 设置为zookeeper Servers 列表,各节点以逗号分开;
log.dirs(我的kafka是用hadoop用户安装)
6 . 配置zookeeper.properties (如果使用kafka自带的zookeeper,要设置,建议和zoo.cfg一样)
7 . 安装一台,并用
scp –r ~/scala-2.11.4 hadoop@m2:~/
scp –r ~/kafka_2.11-0.9.0.0 hadoop@m2:~/
scp –r ~/scala-2.11.4 hadoop@m3:~/
scp –r ~/kafka_2.11-0.9.0.0 hadoop@m3:~/
每台都要修改环境变量
8 . 在kafka的部署目录下,在各个节点上通过如下命令来启动:
$ nohup bin/kafka-server-start.sh config/server.properties &
9 . 使用jps命令可以查看,服务为kafka
- centos6.5 安装kafka2.11
- CentOS6.5安装weblogic 11
- centos6.5安装oracle 11
- centos6.5安装oracle 11g R2
- Centos6.5安装oracle 11G
- 11->centos6 安装oracle
- 集群RedHat6.5+JDK1.8+Hadoop2.7.3+Spark2.1.1+zookeeper3.4.6+kafka2.11+flume1.6环境搭建步骤
- 单机RedHat6.5+JDK1.8+Hadoop2.7.3+Spark2.1.1+zookeeper3.4.6+kafka2.11+flume1.6环境搭建步骤
- centos6.5安装nis
- CentOS6.5安装注意事项
- vmware10安装centos6.5
- Centos6.5 安装 gitlab
- CentOS6.5 HAProxy 安装
- Centos6.5安装vmware
- centOS6.5安装FreeSwitch
- centos6.5安装图形界面
- centos6.5安装nodejs
- CentOS6.5 安装 wine
- windows下使用tftp工具下载文件到开发板(linux)
- 剑指Offer----扩展:0-1交换
- Android 单元测试
- RHEL5.1的TFTP服务器的安装
- MyBatis学习总结[2]-接口式调用
- centos6.5 安装kafka2.11
- 情感
- java 三大特性之继承
- JSONP跨域总结和实践
- poj-1611The Suspects(并查集求被感染的人数)
- HDU1535Invitation Cards
- 东王河电站调速器发货
- 在tomcat下context.xml中配置各种数据库连接池
- 键盘回车事件导致页面刷新的问题