zookeeper+kafka配置
来源:互联网 发布:绿色破解版软件 编辑:程序博客网 时间:2024/06/10 09:04
ZooKeeper
安装
#将ZooKeeper解压到/usr/local中
tar –zxvf zookeeper-3.4.6.tar.gz –C /usr/local
cd /usr/local
#重命名
sudo mv zookeeper-3.4.6 zookeeper
cd zookeeper/conf
sudo cp zoo_sample.cfg zoo.cfg
配置
1.在zoo.cfg中追加以下内容:
#server.n=ip:portA:portB
#n是服务器标识号(1~255)
#ip是服务器ip地址
#portA是与leader进行信息交换的端口
#portB是在leader宕机后,进行leader选举所用的端口
server.1=200.31.157.116:20881:30881
server.2=200.31.157.116:20882:30882
server.3=200.31.157.117:20881:30881
注:
配置文件信息解析:
tickTime:毫秒级的基本时间单位,其他时间如心跳/超时等都为该单位时间的整数倍。
initLimit:tickTime的倍数,表示leader选举结束后,followers与leader同步需要的时间,leader的数据非常多或followers比较多时,该值应适当大一些。
syncLimit:tickTime的倍数,表示follower和observer与leader交互时的最大等待时间,是在与leader同步完毕之后,正常请求转发或ping等消息交互时的超时时间。
clientPort:监听客户端连接的服务端口,若一台服务器上安装多个ZooKeeper server,则需要设置不同的端口号。
dataDir:内存数据库快照地址,事务日志地址(除非由dataLogDir另行指定)。
2.在$dataDir下新建文件myid,并写入服务器标识号
#/tmp/zookeeper为dataDir
cd /tmp/zookeeper/
sudo vim myid
#在myid中添加服务器标识号
启动停止
#进入$ZOOKEEPER_HOME,运行zkServer.sh
#启动
sudo bin/zkServer.sh start &
#停止
sudo bin/zkServer.sh stop
#查看状态
sudo bin/zkServer.sh status
Kafka
安装
tar –zxvf kafka_2.10-0.8.2.1.tgz –C /usr/local/
cd /usr/local
#重命名
sudo mv kafka_2.10-0.8.2.1 kafka
在配置文件server.properties修改如下内容:
#broker.id是broker的标识,具有唯一性
broker.id=0
#端口号默认为9092
port=9092
#host.name位kafka所在机器的ip
host.name=200.31.157.116
#设置zookeeper,可连接多个zookeeper服务器
zookeeper.connect=200.31.157.116:2182,200.31.157.116:2183,200.31.157.117:2182
启动停止
#进入$KAFKA_HOME
#启动
sudo bin/kafka-server-start.sh config/server.properties &
#停止
#创建topic
bin/kafka-topics.sh --create --zookeeper 200.31.157.116:2182 --replication-factor 1 --partitions 1 --topic test
#生产消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
#消费消息
bin/kafka-console-consumer.sh –zookeeper 200.31.157.116:2182,200.31.157.116:2183,200.31.157.117:2182 --topic test --from-beginning
安装
#将ZooKeeper解压到/usr/local中
tar –zxvf zookeeper-3.4.6.tar.gz –C /usr/local
cd /usr/local
#重命名
sudo mv zookeeper-3.4.6 zookeeper
cd zookeeper/conf
sudo cp zoo_sample.cfg zoo.cfg
配置
1.在zoo.cfg中追加以下内容:
#server.n=ip:portA:portB
#n是服务器标识号(1~255)
#ip是服务器ip地址
#portA是与leader进行信息交换的端口
#portB是在leader宕机后,进行leader选举所用的端口
server.1=200.31.157.116:20881:30881
server.2=200.31.157.116:20882:30882
server.3=200.31.157.117:20881:30881
注:
配置文件信息解析:
tickTime:毫秒级的基本时间单位,其他时间如心跳/超时等都为该单位时间的整数倍。
initLimit:tickTime的倍数,表示leader选举结束后,followers与leader同步需要的时间,leader的数据非常多或followers比较多时,该值应适当大一些。
syncLimit:tickTime的倍数,表示follower和observer与leader交互时的最大等待时间,是在与leader同步完毕之后,正常请求转发或ping等消息交互时的超时时间。
clientPort:监听客户端连接的服务端口,若一台服务器上安装多个ZooKeeper server,则需要设置不同的端口号。
dataDir:内存数据库快照地址,事务日志地址(除非由dataLogDir另行指定)。
2.在$dataDir下新建文件myid,并写入服务器标识号
#/tmp/zookeeper为dataDir
cd /tmp/zookeeper/
sudo vim myid
#在myid中添加服务器标识号
启动停止
#进入$ZOOKEEPER_HOME,运行zkServer.sh
#启动
sudo bin/zkServer.sh start &
#停止
sudo bin/zkServer.sh stop
#查看状态
sudo bin/zkServer.sh status
Kafka
安装
tar –zxvf kafka_2.10-0.8.2.1.tgz –C /usr/local/
cd /usr/local
#重命名
sudo mv kafka_2.10-0.8.2.1 kafka
cd kafka/conf
在配置文件server.properties修改如下内容:
#broker.id是broker的标识,具有唯一性
broker.id=0
#端口号默认为9092
port=9092
#host.name位kafka所在机器的ip
host.name=200.31.157.116
#设置zookeeper,可连接多个zookeeper服务器
zookeeper.connect=200.31.157.116:2182,200.31.157.116:2183,200.31.157.117:2182
启动停止
#进入$KAFKA_HOME
#启动
sudo bin/kafka-server-start.sh config/server.properties &
#停止
bin/kafka-server-stop.sh
#创建topic
bin/kafka-topics.sh --create --zookeeper 200.31.157.116:2182 --replication-factor 1 --partitions 1 --topic test
#生产消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
#消费消息
bin/kafka-console-consumer.sh –zookeeper 200.31.157.116:2182,200.31.157.116:2183,200.31.157.117:2182 --topic test --from-beginning
2 0
- zookeeper+kafka配置
- zookeeper kafka基本配置
- Kafka与ZooKeeper的配置
- kafka+zookeeper环境配置
- [快速配置]zookeeper+kafka集群
- windows 单机 zookeeper+kafka配置
- kafka + zookeeper 单节点配置
- linux下配置zookeeper,kafka,storm
- kafka zookeeper graylog filelog 监控配置
- kafka+zookeeper+elk自动安装配置
- 关于zookeeper和kafka的配置安装
- zookeeper kafka 集群配置(centos6.5)
- Kafka---如何配置Kafka集群和zookeeper集群
- zookeeper+kafka
- ZooKeeper kafka入门:简介、使用场景、设计原理、主要配置
- kafka+zookeeper环境配置(Mac 或者 linux环境)
- kafka+zookeeper环境配置(Mac 或者 linux环境)
- kafka+zookeeper环境配置(Mac 或者 linux环境)
- 关于visual c++6.0【未完待续】
- Android错误之--activity_main cannot be resolved or is not a field
- leetcode 139: Word Break
- 数据结构的各种排序算法稳定性比较
- HDU 1164 Eddy's research I(素数)
- zookeeper+kafka配置
- Android SERVICE后台服务进程的守护
- CSS规则的优先级匹配
- new到构造方法
- DH密钥交换算法
- JavaScript indexOf() 方法
- Java内部类大解析
- 暑假-动态规划 III-D - FatMouse and Cheese
- 关闭所有Activity和连续点击两次返回键关闭程序的方法