zookeeper(一)———>>>>>zookeeper的最简单了解
来源:互联网 发布:山东理工大学知乎 编辑:程序博客网 时间:2024/05/29 14:29
1、zookeeper是什么?
ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,ZooKeeper是以Fast Paxos算法为基础,实现同步服务,配置维护和命名服务等分布式应用。
2、zookeeper如何工作的?
2.1、一个zookeeper实例下有多个节点,一个节点可以对应多个客户端。
2.2、简单的说,zookeeper=文件系统+通知机制。
http://blog.csdn.net/houzengjiang/article/details/8458040(详解解释工作原理)
3、工作场景
场景一
有这样一个场景:系统中有大约100w的用户,每个用户平 均有3个邮箱账号,每隔5分钟,每个邮箱账需要收取100封邮件,最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力,从 多个不同的网路出口进行访问外网,计算的压力得到缓解,那么每台机器的计算压力也不会很大了。
通过我们的讨论和以往的经验判断在这场景中可以实现并行计算,但我们还期望能对并行计算的节点进行动态的添加/删除,做到在线更新并行计算的数目并且不会影响计算单元中的其他计算节点,但是有4个问题需要解决,否则会出现一些严重的问题:
20台机器同时工作时,有一台机器down掉了,其他机器怎么进行接管计算任务,否则有些用户的业务不会被处理,造成用户服务终断。
随着用户数量增加,添加机器是可以解决计算的瓶颈,但需要重启所有计算节点,如果需要,那么将会造成整个系统的不可用。
用户数量增加或者减少,计算节点中的机器会出现有的机器资源使用率繁忙,有的却空闲,因为计算节点不知道彼此的运行负载状态。
怎么去通知每个节点彼此的负载状态,怎么保证通知每个计算节点方式的可靠性和实时性。
先不说那么多专业名词,白话来说我们需要的是:1记录状态,2事件通知 ,3可靠稳定的中央调度器,4易上手、管理简单。
采用Zookeeper完全可以解决我们的问题,分布式计算中的协调员,观察者,分布式锁 都可以作为zookeeper的关键词,在系统中利用Zookeeper来处理事件通知,队列,优先队列,锁,共享锁等功能,利用这些特色在分布式计算中发挥重要的作用。
场景二
假设我们我们有个20个搜索引擎的服务器(每个负责总索引中的一部分的搜索任务)和一个总服务器(负责向这20个搜索引擎的服务器发出搜索请求并合并 结果集),一个备用的总服务器(负责当总服务器宕机时替换总服务器),一个web的 cgi(向总服务器发出搜索请求).搜索引擎的服务器中的15个服务器现在提供搜索服务,5个服务器正在生成索引.这20个搜索引擎的服务器经常要让正在 提供搜索服务的服务器停止提供服务开始生成索引,或生成索引的服务器已经把索引生成完成可以搜索提供服务了.使用Zookeeper可以保证总服务器自动 感知有多少提供搜索引擎的服务器并向这些服务器发出搜索请求,备用的总服务器宕机时自动启用备用的总服务器,web的cgi能够自动地获知总服务器的网络 地址变化.这些又如何做到呢?
4、强烈推荐以下链接
http://www.open-open.com/lib/view/open1415453633887.html
ZooKeeper 顾名思义 动物园管理员,他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员, Apache Hbase和 Apache Solr 以及LinkedIn sensei 等项目中都采用到了 Zookeeper。ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,ZooKeeper是以Fast Paxos算法为基础,实现同步服务,配置维护和命名服务等分布式应用。
2、zookeeper如何工作的?
2.1、一个zookeeper实例下有多个节点,一个节点可以对应多个客户端。
2.2、简单的说,zookeeper=文件系统+通知机制。
http://blog.csdn.net/houzengjiang/article/details/8458040(详解解释工作原理)
3、工作场景
场景一
有这样一个场景:系统中有大约100w的用户,每个用户平 均有3个邮箱账号,每隔5分钟,每个邮箱账需要收取100封邮件,最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力,从 多个不同的网路出口进行访问外网,计算的压力得到缓解,那么每台机器的计算压力也不会很大了。
通过我们的讨论和以往的经验判断在这场景中可以实现并行计算,但我们还期望能对并行计算的节点进行动态的添加/删除,做到在线更新并行计算的数目并且不会影响计算单元中的其他计算节点,但是有4个问题需要解决,否则会出现一些严重的问题:
20台机器同时工作时,有一台机器down掉了,其他机器怎么进行接管计算任务,否则有些用户的业务不会被处理,造成用户服务终断。
随着用户数量增加,添加机器是可以解决计算的瓶颈,但需要重启所有计算节点,如果需要,那么将会造成整个系统的不可用。
用户数量增加或者减少,计算节点中的机器会出现有的机器资源使用率繁忙,有的却空闲,因为计算节点不知道彼此的运行负载状态。
怎么去通知每个节点彼此的负载状态,怎么保证通知每个计算节点方式的可靠性和实时性。
先不说那么多专业名词,白话来说我们需要的是:1记录状态,2事件通知 ,3可靠稳定的中央调度器,4易上手、管理简单。
采用Zookeeper完全可以解决我们的问题,分布式计算中的协调员,观察者,分布式锁 都可以作为zookeeper的关键词,在系统中利用Zookeeper来处理事件通知,队列,优先队列,锁,共享锁等功能,利用这些特色在分布式计算中发挥重要的作用。
场景二
假设我们我们有个20个搜索引擎的服务器(每个负责总索引中的一部分的搜索任务)和一个总服务器(负责向这20个搜索引擎的服务器发出搜索请求并合并 结果集),一个备用的总服务器(负责当总服务器宕机时替换总服务器),一个web的 cgi(向总服务器发出搜索请求).搜索引擎的服务器中的15个服务器现在提供搜索服务,5个服务器正在生成索引.这20个搜索引擎的服务器经常要让正在 提供搜索服务的服务器停止提供服务开始生成索引,或生成索引的服务器已经把索引生成完成可以搜索提供服务了.使用Zookeeper可以保证总服务器自动 感知有多少提供搜索引擎的服务器并向这些服务器发出搜索请求,备用的总服务器宕机时自动启用备用的总服务器,web的cgi能够自动地获知总服务器的网络 地址变化.这些又如何做到呢?
4、强烈推荐以下链接
http://www.open-open.com/lib/view/open1415453633887.html
0 0
- zookeeper(一)———>>>>>zookeeper的最简单了解
- Zookeeper之——最简单的安装配置方式
- zookeeper学习笔记(一) —— centos6.8安装zookeeper以及简单命令
- Zookeeper基础—Zookeeper介绍
- zookeeper搭建最简单
- zookeeper入门(一)——ZooKeeper伪集群安装
- zookeeper系列学习——(1)zookeeper的简单介绍
- 了解运行kafka&&zookeeper(一)
- zookeeper的实用场景—
- Zookeeper之——关于Zookeeper的那些事
- zookeeper系列学习——(2)zookeeper的安装
- Zookeeper之——Zookeeper的安装模式
- Zookeeper介绍(三)——Zookeeper的安装
- Zookeeper系列—ZooInspector 连接不到 Zookeeper的解决方法
- Zookeeper——2、使用Zookeeper原生API操作Zookeeper
- 了解ZooKeeper
- 了解zookeeper
- 了解ZooKeeper
- 关于swing界面组件的一些学习
- 拥有股份的不干活,不拥有股份的在干活,治理结构是致命的
- 安卓自学笔记:15:通过XML设置监听器
- Linux - netstat命令
- 项目三-成绩处理函数版
- zookeeper(一)———>>>>>zookeeper的最简单了解
- PS滤镜功能详解
- 第四章 字符串和多维数组
- UIImageView 处理动画
- C. Hacking Cypher
- 0012算法笔记——【动态规划】最长公共子串问题
- IDL读取grib数据为tiff文件
- 第十三周项目5-2-3:字符串复制
- java编程思想11.9-set