使用zookeeper一个简单分布式demo

zookeeper是一个提供分布式程序协调服务的应用，它的命名空间类似linux系统文件路径等等。 具体描述可以参考官网 https://zookeeper.apache.org/doc/trunk/zookeeperOver.html

本文将描述如何借助zookeeper构建一个简单的任务发布运行应用，使用curator。(我也是刚接触zk，如有不对的地方希望指出.谢谢)

设计

我将任务发布部分作为server，任务处理部分作为client。

server部分

server部分功能比较简单。主要进行任务的发布。
首先server启动时向zk创建节点/test ，为持久节点

之后我们向server提交任务，假设任务名称为localtask，数据为hello world。server会向zk的/test节点下注册新的任务节点，这是一个持久节点，以任务名作为节点名，任务的数据存放在节点内。

client部分

client部分主要接收任务，并允许任务。同时一旦某个运行任务所在的机器挂掉，其它机器能够接管该任务。下面以一个client为例来介绍。

client启动时会向zk添加对/test节点的listener。

server发布任务后，client能够监听任务节点的创建

当client发现新任务时，首先会对该任务节点添加子节点变化的listener，之后会尝试对任务加锁，加锁成功的客户端能够运行任务。
如何进行加锁: 创建任务节点的子节点/lock，这是一个临时节点。 因为zookeeper会保证多个客户端同时创建同一个节点，只有一客户端能够创建成功。当某台机器宕机，那么就与zk失去了心跳，那么该临时节点就会被删除，那么其它节点会尝试去加锁。

如果/lock节点创建成功，则表示当前客户端获得了运行任务的权利。客户端开始启动任务

代码实现

这里只给出部分代码，全部代码
https://github.com/sweat123/distribute_cluster

server实现

创建任务根节点

    public void start() {        if (!nodeExists(ROOT)) {            try {                zkClient.create().creatingParentsIfNeeded().withMode(PERSISTENT).forPath(ROOT);            } catch (Exception e) {                LOG.error("create root failed.", e);            }        }    }

创建任务

    public void createTask(String taskName, byte[] data) {        String path = ROOT + "/" + taskName;        if (nodeExists(path)) {            LOG.error("task already exists.");            return;        }        try {            zkClient.create().withMode(PERSISTENT).forPath(path, data);        } catch (Exception e) {            LOG.error("create task failed. node path: {}", path, e);        }    }

client实现

添加对任务根节点的listener

    public void registry() throws Exception {        PathChildrenCache childrenCache = new PathChildrenCache(zkClient, ROOT, true);        childrenCache.start();        childrenCache.getListenable().addListener((client, event) -> {            switch (event.getType()) {            case CHILD_ADDED:                LOG.info("child add; node path: {}", event.getData().getPath());                lockAndWork(client, event);                addLockListener(client, event.getData().getPath());                break;            case CHILD_REMOVED:                LOG.info("child removed; node path: {}", event.getData().getPath());                break;            }        });    }

server任务发布后，创建对任务节点的listener，并尝试对任务加锁，如果加锁成功则运行任务

    private boolean tryLock(CuratorFramework zkClient, String path) {        try {            zkClient.create().withMode(EPHEMERAL).forPath(path);        } catch (Exception e) {            LOG.error("create node failed; node path: {}", path, e);            return false;        }        return true;    }    private void lockAndWork(CuratorFramework zkClient, PathChildrenCacheEvent event) {        String path = event.getData().getPath();        byte[] nodeData = event.getData().getData();        if (!tryLock(zkClient, path + "/lock")) {            LOG.info("lock node failed.");            return;        }        //lock succeed        createTask(nodeData);    }    private void createTask(byte[] data) {        String dataStr = Utils.convertJsonByteArrToAssignedObj(data, "key", String.class);        LOG.info("create task with data {}", dataStr);    }