第二部分：分布式服务框架Zookeeper

what is Zookeeper?

---

• 一个开源的分布式的，为分布式应用提供协调服务的Apache项目。
• 提供一个简单的原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务。
• 设计非常易于编程，它使用的是类似于文件系统那样的树形数据结构
• 目的就是将分布式服务不再需要由于协作冲突而另外实现协作服务。

Zookeeper Service

---

Zookeeper数据结构

---

• 数据结构和分等级的命名空间
  
  • Zookeeper的命名空间的结构和文件系统很像。一个名字和文件一样使用/的路径表现，zookeeper的每一个节点都是被路径唯一标识
  • Zookeeper‘s Hierarchical Namespace
    

Zookeeper 角色

---

角色 描述 领导者(leader) 领导者负责进行投票的发起和决议，更新系统状态 学习者(learner) 跟随者(Follower) Follower用于接收客户请求并向客户端返回结果，在选主过程中参与投票 观察者(ObServer) ObServer可以接收客户端连接，将写请求转发给leader节点，但ObServer不参加投票过程，只同步leader的状态。ObServer的目的是为了扩展系统，提高读取速度 客户端(Client) 请求发起方

Zookeeper典型应用场景

---

• Zookeeper从设计模式角度来看，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就负责 通知已经在Zookeeper上注册的那些观察者 做出相应的反应，从而实现集群中 类似Master/Slave管理模式。
• 应用场景
  
  • 统一命名服务(Name Server)
  • 配置管理（Configuration Management）
  • 集群管理（Group Membership）
  • 共享锁（Locks）/同步锁

单机模式安装

---

• 安装JDK,配置环境变量，验证java-version
• 下载，赋执行权限、解压
  
  • 下载地址：http://apache.dataguru.cn/zookeeper/
  • 权限：chmod u+x zookeeper-3.4.5.tar.gz
  • 解压：tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/modules/
• 配置
  
  • 复制配置文件： cp conf/zoo_sample.cfg conf/zoo.cfg
  • 配置数据存储目录：dataDir = opt/modules/zookeeper-3.4.5/data
  • 创建数据存储目录：mkdir/modules/zookeeper-3.4.5/data
• 启动
  
  • 启动：bin/zkServer.sh start
• 检测
  
  • 查看状态：bin/zkServer.sh.status
  • Client Shell: bin/zkCli.sh

Zookeeper配置参数详解

---

• tickTime： 这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳。
• dataDir：顾名思义就是Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里。
• clientPort：这个端口就是客户端连接Zookeeper服务器的端口，Zookeeper会监听这个端口，接受客户端的访问请求。

• Zookeeper Client命令讲解

  • 命名：bin/zkClient -server localhost:2181
  • 详解：ls,get,create,delete,set

• initlLimit:这个配置项是用来配置Zookeeper接受客户端（这里所说的客户端不是用户连接zookeeper服务器的客户端，而是zookeeper服务器集群中连到leader的follower服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过10个心跳的时间（也就是ticktime）长度后zookeeper服务器还没有收到客户端端返回信息，那么表明这个客户端连接失败。总的时间长度时5*2000=10秒。

• synclimit:这个配置项标识leader与follower之间发送消息，请求和应答时间长度，最长不能超过多少个ticktime的时间长度，总的时间长度就是2*2000=4秒。

• server.A=B:C:D：其中A是一个数字，表示这个是第几个服务器：B是这个服务器的IP地址；C表示的是这个服务器与集群中的leader服务器交换信息的端口；D表示的是万一集群中的leader服务器挂了，需要一个端口来重新进行选举，选出一个新的leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果时伪集群的配置方式，由于B都是一样，所以不同的zookeeper实例通信端口号不能一样，所以要给它们分配不同的端口号。

• 集群模式下配置一个文件myid,这个文件在dataDir目录下，这个文件里面就有一个数据就是A的值，zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是那个server

Zookeeper 分布式安装

---

• 在单机模式基础之上，修改配置文件conf/zoo.cfg
  
  • vi conf/zoo.cfg
  • 内容如下：
    initLimit=5
    syncLimit=2
    server.1=192.168.48.128:2888:3888
    server.2=192.168.48.181:2888:3888
    server.3=192.168.48.1822:2888:3888

zoo.cfg

# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinitLimit=5# The number of ticks that can pass between # sending a request and getting an acknowledgementsyncLimit=2# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just # example sakes.dataDir=/opt/modules/zookeeper-3.4.5-cdh5.3.6/data# the port at which the clients will connectclientPort=2181## Be sure to read the maintenance section of the # administrator guide before turning on autopurge.## http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance## The number of snapshots to retain in dataDir#autopurge.snapRetainCount=3# Purge task interval in hours# Set to "0" to disable auto purge feature#autopurge.purgeInterval=1server.1=192.168.1.5:2888:3888 server.2=192.168.1.7:2888:3888 server.3=192.168.1.8:2888:3888

• 在各个机器安装的数据存储目录下创建myid文件
  
  • 命令：touch cata/myid
  • 编辑：vidata/yid
  • 内容(不同机器，不一样)：
    192.168.48.128：1
    192.168.48.128：2
    192.168.48.128：3

[xiangkun@hadoop-senior01 zookeeper-3.4.5-cdh5.3.6]$ mkdir -p data/zkData[xiangkun@hadoop-senior01 zookeeper-3.4.5-cdh5.3.6]$ cd data/zkData/[xiangkun@hadoop-senior01 zkData]$ pwd/opt/modules/zookeeper-3.4.5-cdh5.3.6/data/zkData[xiangkun@hadoop-senior01 zkData]$ touch myid[xiangkun@hadoop-senior01 zkData]$ lsmyid[xiangkun@hadoop-senior01 zkData]$ vim myid1[xiangkun@hadoop-senior02 zkData]$ vim myid2[xiangkun@hadoop-senior03 zkData]$ vim myid3~~"myid" 3L, 48C 已写入                                                                 [xiangkun@hadoop-senior01 zkData]$ more myid1[xiangkun@hadoop-senior02 zkData]$ more myid2[xiangkun@hadoop-senior03 zkData]$ more myid3