Zookeeper集群搭建+Kafka集群搭建--55

来源：互联网发布：淘宝店家订单管理导出编辑：程序博客网时间：2024/04/30 12:47

Zookeeper 是一个分布式。开放源码的分布式应用程序协调服务，是Google Chubby的一个开源实现，大多数的分布式应用都需要Zookeeper的支持，这篇文章先简单的和大家分享如何搭建一个zookeeper集群。

配置环境：5台Centos6.5系统的服务器

第一步：安装 JDK/JRE

第二步：下载zookeeper ： http://zookeeper.apache.org/releases.html

第三步：通过：scp -r zookeeper.tar.gz root@xx.xx.xx.xx:/usr/local/ 集群中：scp -r zookeeper.tar.gz quad10X:/usr/local

第四步：进入集群中的某一节点 tar -xzvf zookeeper.tar.gz 解压安装包

第五步：cd zookeeper-x.x.x/conf

第六步：修改zookeeper配置文件（集群和数据目录的配置），使用“cp zoo_sample.cfg zoo.cfg”来创建一个zookeeper配置文件，在zoo.cfg中配置syncLimit,dataDir，clientPort,autopurge.purgeInterval,以及集群的server list：

vim zoo.cfg

添加：

qutopurge.purgeInterval=1

server.1=quad101:2888:3888

server.2=quad102:2888:3888

server.3=quad103:2888:3888

server.4=quad104:2888:3888

server.5=quad105:2888:3888

第七步：在配置集群的server中，找到zoo.cfg配置的dataDir目录(/tmp/zookeeper/)，在目录下面添加一个“myid”的文件，把zoo.cfg配置的server list中的id值写入并保存：跟主机序号一致

第八步：设置环境变量：
为了方便运行zkServer.sh脚本，我们将zookeeper的bin路径加入到/etc/profile中，作为一个全局变量进行输出到PATH中，记得修改完成之后运行source /etc/profile使修改生效：vim /etc/profile
ZOOKEEPER_HOME=/usr/local/zookeeper-3.x.x
export ZOOKEEPER_HOME
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

第九步：在集群中每个节点上重复安装

第十步：使用“sudo ./bin/zkServer.sh start” 启动zookeeper，使用“sudo ./bin/zkServer.sh status”检查集群状态（每个节点分别启动）

这里需要注意第一个节点启动zookeeper时由于集群的其他节点未启动zookeeper，因此使用zkServer.sh status命令查看当前状态时会提示错误，如上图白色区域；但是随着后续节点的zookeeper的陆续启动，使用status查看状态时会显示当前节点的状态mode显示了所在server在集群中所扮演的角色，每个server的角色不是固定的，leader是通过zookeeper的Fast Leader 选举算法产生，三台zookeeper集群就这么搭建好了，

、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、

/////////////////////////////////////////////////////////////////

kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。性能和扩展性。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。

配置环境：5台Centos6.5系统的服务器

官网：http://kafka.apache.org/
官方文档：http://kafka.apache.org/documentation.html#quickstart

下载解压

kafka下载：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.8.1/kafka_2.10-0.8.1.tgz

通过：scp -r kafka.tar.gz root@xx.xx.xx.xx:/usr/local/ 集群中：scp -r kafka.tar.gz quad10X:/usr/local

tar zxvf kafka_2.10-0.8.1.tgz
# cd kafka-2.10

Kafka是用Scala写的，SBT是Simple Build Tool的简称，如果读者使用过Maven，那么可以简单将SBT看做是Scala世界的Maven，虽然二者各有优劣，但完成的工作基本是类似的。

修改每台服务器的cd /usr/local/kafka-2.10/config/server.properties

broker.id：唯一，填数字，111-115

host.name：唯一，填服务器IP

zookeeper.connect=xx.xx.xx.xx:2181(5台服务器)

先启动zookeeper服务: bin/zkServer.sh start

再在每台机器上执行： bin/kafka-server-start.sh config/server.properties

0 0