zookeeper集群

zookeepr集群

zookeeper集群环境搭建，3个节点，分别是zookeeperserver01，zookeeperserver02 zookeeperserver03

第一步：主机名称到IP地址映射配置

ZooKeeper集群中具有两个关键的角色：Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务，集群中每个结点之间都互相连接，所以，在配置的ZooKeeper集群的时候，每一个结点的host到IP地址的映射都要配置上集群中其它结点的映射信息。

例如，我的ZooKeeper集群中每个结点的配置，以slave-01为例，/etc/hosts内容如下所示：

[plain] view plain copy

1.     192.168.1.54   zookeeperserver01

2.     192.168.1.55   zookeeperserver02 

3.     192.168.1.56   zookeeperserver03

 

 

ZooKeeper采用一种称为Leader election的选举算法。在整个集群运行过程中，只有一个Leader，其他的都是Follower，如果ZooKeeper集群在运行过程中Leader出了问题，系统会采用该算法重新选出一个Leader。因此，各个结点之间要能够保证互相连接，必须配置上述映射。

ZooKeeper集群启动的时候，会首先选出一个Leader，在Leader election过程中，某一个满足选举算的结点就能成为Leader。整个集群的架构可以参考http://zookeeper.apache.org/doc/trunk/zookeeperOver.html#sc_designGoals。

第二步：修改ZooKeeper配置文件

在其中一台机器（slave-01）上，解压缩zookeeper-3.3.4.tar.gz，修改配置文件conf/zoo.cfg，内容如下所示：

[plain] view plain copy

1.     tickTime=2000  

2.     dataDir=/home/hadoop/storage/zookeeper/data  

3.     clientPort=2181  

4.     initLimit=5  

5.     syncLimit=2  

6.     server.1=zookeeperserver01:2888:3888  

7.     server.2=zookeeperserver02:2888:3888  

8.     server.3=zookeeperserver03:2888:3888  

上述配置内容说明，可以参考http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html#sc_RunningReplicatedZooKeeper。

第三步：远程复制分发安装文件

上面已经在一台机器slave-01上配置完成ZooKeeper，现在可以将该配置好的安装文件远程拷贝到集群中的各个结点对应的目录下：

[plain] view plain copy

1.     cd /home/hadoop/installation/  

2.     scp -r zookeeper-3.3.4/ hadoop@slave-02:/home/hadoop/installation/  

3.     scp -r zookeeper-3.3.4/ hadoop@slave-03:/home/hadoop/installation/  

第四步：设置myid

在我们配置的dataDir指定的目录下面，创建一个myid文件，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg文件中配置的server.X中X为什么数字，则myid文件中就输入这个数字，例如：

[plain] view plain copy

在dataDir=/home/hadoop/storage/zookeeper/data这个文件夹下新建一个myid文件分别标识1,2,3

按照上述进行配置即可。

第五步：启动ZooKeeper集群

在ZooKeeper集群的每个结点上，执行启动ZooKeeper服务的脚本，如下所示：

[plain] view plain copy

1.     hadoop@slave-01:~/installation/zookeeper-3.3.4$ bin/zkServer.sh start  

2.     hadoop@slave-02:~/installation/zookeeper-3.3.4$ bin/zkServer.sh start  

3.     hadoop@slave-03:~/installation/zookeeper-3.3.4$ bin/zkServer.sh start