Zookeeper之基于Observer部署架构
来源:互联网 发布:梦里花落知多少小说 编辑:程序博客网 时间:2024/04/29 05:35
Observers:在不伤害写性能的情况下扩展Zookeeper
尽管通过Client直接连接到Zookeeper集群的性能已经非常好了,但是这种架构如果要承受超大规模的Client,就必须增加Zookeeper集群的Server数量,随着Server的增加,Zookeeper集群的写性能必定下降,我们知道Zookeeper的Znode变更是要过半数投票通过,随着机器的增加,由于网络消耗等原因必然导致投票成本增加,从而导致写性能的下降。
Observer是一种新型的Zookeeper节点,可以帮助解决上述问题,提供Zookeeper的可扩展性。Observer不参与投票,只是简单的接收投票结果,因此我们增加再多的Observer,也不会影响集群的写性能。除了这个差别,其他的和Follower基本上完全一样。例如:Client都可以连接到他们,并且都可以发送读写请求给他们,收到写请求都会上报到Leader。
Observer有另外一个优势,因为它不参与投票,所以他们不属于Zookeeper集群的关键部位,即使他们Failed,或者从集群中断开,也不会影响集群的可用性。根据Observer的特点,我们可以使用Observer做跨数据中心部署。如果把Leader和Follower分散到多个数据中心的话,因为数据中心之间的网络的延迟,势必会导致集群性能的大幅度下降。使用Observer的话,将Observer跨机房部署,而Leader和Follower部署在单独的数据中心,这样更新操作会在同一个数据中心来处理,并将数据发送的其他数据中心(包含Observer的),然后Client就可以在其他数据中心查询数据了。但是使用了Observer并非就能完全消除数据中心之间的延迟,因为Observer还得接收Leader的同步结果合Observer有更新请求也必须转发到Leader,所以在网络延迟很大的情况下还是会有影响的,它的优势就为了本地读请求的快速响应。
使用Observer
如果要使用Observer模式,可以在对应节点的配置文件添加如下配置:
peerType=observer
上面仅仅是告诉Zookeeper该节点是Observer,其次,必须在配置文件指定哪些节点被指定为Observer,例如:
server.1:localhost:2181:3181:observer
目前我的工作中就用到了Observer,大致的架构如下图:
- Zookeeper之基于Observer部署架构
- 基于docker部署的微服务架构: docker环境下的zookeeper和kafka部署
- ZooKeeper学习之Observer模式及其配置
- 基于xulrunner架构下的Observer Mode
- zookeeper之2:安装部署
- zookeeper梳理一之是什么,zookeeper架构
- icloud之部署架构
- ZooKeeper运维之部署方案设计
- 01.ZooKeeper读书笔记之Linux安装部署
- 分布式solr-cloud之zookeeper部署
- 从无到有系列之zookeeper-安装部署01
- Spark集群基于Zookeeper的HA搭建部署笔记
- Spark集群基于Zookeeper的HA搭建部署
- Spark集群基于Zookeeper的HA搭建部署
- 部署hadoop2.7.2 集群 基于zookeeper配置HDFS HA+Federation
- 基于Zookeeper的TbSchedule任务调度服务部署以及应用
- Spark集群基于Zookeeper的HA搭建部署笔记
- Spark集群基于Zookeeper的HA搭建部署
- java多线程学习(一)之创建线程的两种方式
- github使用记录
- 一位牛人归纳的JavaScript 语言基础知识点图示(上)
- 我是如何自学Android,资料分享
- 解决ios设备中angularjs无法改变页面title的问题
- Zookeeper之基于Observer部署架构
- Content Provider详解
- Highcharts图形x坐标轴密度的问题
- LineEdit小控件
- 属性传值
- 链接服务器遇到某些存储过程不能执行的问题
- IEEE计算机中浮点表示
- easyui-pagination分页组件
- 如何生成JAR包并转换成EXE可执行文件