Zookeeper知识点总结

Zookeeper简介：

• ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，作为 Hadoop 项目中的一个子项目，是 Hadoop 集群管理的一个必不可少的模块。它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。目前zookeeper被广泛应用于hadoop生态体系中各种框架的分布式协调，我们也可以利用zookeeper来简化分布式应用开发。

• Zoopkeeper 提供了一套很好的分布式集群管理的机制，就是它这种基于层次型的目录树的数据结构，并对树中的节点进行有效管理，从而可以设计出多种多样的分布式的数据管理模型。

Zookeeper的特性：

1. Zookeeper是简单的；
2. Zookeeper是富有表现力的；
3. Zookeeper具有高可用性；
4. Zookeeper采用松耦合交互方式；
5. Zookeeper是一个资源库。
   

为什么要使用Zookeeper？

• 大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程（如资源、任务分配等）；
• 大部分应用需要开发私有的协调程序，缺乏一个通用的机制；
• 协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器；
• 提供通用的分布式锁服务，用以协调分布式应用；

Zookeeper中的数据模型：

• zookeeper中为用保管数据时，使用的是树状结构（类似于目录树）；
• 每个节点在zookeeper中叫做Znode,并且其有一个唯一的路径标识；
• 节点Znode可以包含数据和子节点，但是EPHEMERAL类型的节点不能有子节点；
• Znode中的数据可以有多个版本，比如某一个路径下存有多个数据版本，那么查询这个路径下的数据就需要带上版本；
• 客户端应用可以在节点上设置监视器，在对Znode进行各种访问操作时可以触发相应事件；
• 节点不支持部分读写，而是一次性完整读写。

/**注：znode维护的数据主要是用于存储协调的数据，如状态、配置、位置等信息，每个节点存储的数据量很小，KB级别，最大不要超过1M。*/

Zookeeper中的节点(Znode)：

• Znode有两种类型，短暂的（EPHEMERAL）和持久的（PERSISTENT）;
• Znode的类型在创建时确定并且之后不能再修改；
• 短暂Znode的客户端会话结束时，zookeeper会将该短暂Znode删除，短暂Znode不可以有子节点；
• 持久型的Znode不依赖于客户端会话，只有当客户端明确要删除该持久Znode时才会被删除；
• Znode有四种形式的目录节点：

1. PERSISTENT，永久的（只要客户端不删除，则永远存在）
2. PERSISTENT_SEQUENTIAL，永久且有序号的（只要客户端不删除，则永远存在）
3. EPHEMERAL，短暂的（只要客户端掉线，则会被自动删除）
4. EPHEMERAL_SEQUENTIAL，短暂且有序的（只要客户端掉线，则会被自动删除）

Zookeeper工作原理：

原子广播机制：

Zookeeper的核心是原子广播，这个机制保证了各个server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式和广播模式。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数server的完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和server具有相同的系统状态。一旦leader已经和多数的follower进行了状态同步后，他就可以开始广播消息了，即进入广播状态。这时候当一个server加入zookeeper服务中，它会在恢复模式下启动，发现leader，并和leader进行状态同步。待到同步结束，它也参与消息广播。Zookeeper服务一直维持在Broadcast状态，直到leader崩溃了或者leader失去了大部分的followers支持。

广播模式：

广播模式需要保证proposal被按顺序处理，因此zk采用了递增的事务id号(zxid)来保证。所有的提议(proposal)都在被提出的时候加上了zxid。实现中zxid是一个64为的数字，它高32位是epoch用来标识leader关系是否改变，每次一个leader被选出来，它都会有一个新的epoch。低32位是个递增计数。当leader崩溃或者leader失去大多数的follower，这时候zk进入恢复模式，恢复模式需要重新选举出一个新的leader，让所有的server都恢复到一个正确的状态。

Leader选举：

• 每个Server启动以后都询问其它的Server它要投票给谁。对于其他server的询问，server每次根据自己的状态都回复自己推荐的leader的id和上一次处理事务的zxid（系统启动时每个server都会推荐自己）。收到所有Server回复以后，就计算出zxid最大的哪个Server，并将这个Server相关信息设置成下一次要投票的Server。计算这过程中获得票数最多的的sever为获胜者，如果获胜者的票数超过半数，则改server被选为leader。否则，继续这个过程，直到leader被选举出来。

• 当leader重新选举出来以后，leader就会开始等待server连接,各个follower连接leader后会将最大的zxid发送给leader，leader根据follower的zxid确定同步点。完成同步后通知follower已经成为uptodate状态，Follower收到uptodate消息后，又可以重新接受client的请求进行服务了。

Zookeeper的应用场景：

Zookeeper主要用来控制集群中的数据，其核心功能可以用简单的两句话来进行概括：1：替客户存取数据；2：为客户提供对数据的监听服。

如在Hadoop2.0中,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息等。

又如在HBase中,使用Zookeeper的事件处理确保整个集群只有一个HMaster,察觉HRegionServer联机和宕机,存储访问控制列表等。

应用场景一：命名服务

分布式应用中，通常需要有一套完整的命名规则，既能够产生唯一的名称又便于人识别和记住，通常情况下用树形的名称结构是一个理想的选择，树形的名称结构是一个有层次的目录结构，既对人友好又不会重复。Name Service是Zookeeper内置的功能，只要调用Zookeeper的API就能实现。

应用场景二：配置管理

配置的管理在分布式应用环境中很常见，例如同一个应用系统需要多台PC Server 运行，但是它们运行的应用系统的某些配置项是相同的，如果要修改这些相同的配置项，那么就必须同时修改每台运行这个应用系统的 PC Server，这样非常麻烦而且容易出错。将配置信息保存在Zookeeper的某个目录节点中，然后将所有需要修改的应用机器监控配置信息的状态，一旦配置信息发生变化，每台应用机器就会收到Zookeeper的通知，然后从Zookeeper获取新的配置信息应用到系统中。

应用场景三：集群管理

Zookeeper能够很容易的实现集群管理的功能，如有多台Server组成一个服务集群，那么必须要一个“总管”知道当前集群中每台机器的服务状态，一旦有机器不能提供服务，集群中其它集群必须知道，从而做出调整重新分配服务策略。同样当增加集群的服务能力时，就会增加一台或多台Server，同样也必须让“总管”知道。

应用场景四：共享锁

共享锁在同一个进程中很容易实现，但是在跨进程或者在不同 Server 之间就不好实现了。Zookeeper 却很容易实现这个功能，实现方式也是需要获得锁的 Server 创建一个 EPHEMERAL_SEQUENTIAL 目录节点，然后调用 getChildren方法获取当前的目录节点列表中最小的目录节点是不是就是自己创建的目录节点，如果正是自己创建的，那么它就获得了这个锁，如果不是那么它就调用 exists(String path, boolean watch) 方法并监控 Zookeeper 上目录节点列表的变化，一直到自己创建的节点是列表中最小编号的目录节点，从而获得锁，释放锁很简单，只要删除前面它自己所创建的目录节点就行了。