GreenPlum数据库的Primary/Mirror同步机制
来源:互联网 发布:复方雄蛾强肾胶囊淘宝 编辑:程序博客网 时间:2024/06/05 15:21
原文链接:http://mysql.taobao.org/monthly/2016/01/02/
PostgreSQL 主备同步机制是通过流复制实现,其原理见之前的月报PG主备流复制机制。
Greenplum 数据库是基于PostgreSQL开发的,它的主备也是通过流复制实现,但是Segment节点中的Primary和Mirror之间的数据同步是基于文件级别的同步实现的。为什么Primary和Mirror不能再使用流复制实现呢?主要有两个原因:
(1) Append Only表不写WAL日志,所以Append Only表的数据就不能通过XLOG发送到Mirror再Apply;
(2) pg_control等文件也是不写WAL日志,也只能通过文件方式同步到Mirror。
Greenplum数据库总体结构
Greenplum 的架构采用了MPP 无共享体系。在 MPP 系统中,每个数据节点有自己的CPU、磁盘和内存(Share nothing),每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配(Data Redistribution)。GP master负责协调整个集群 ,一个数据节点可以配置多个节点实例(Segment Instances),节点实例并行处理查询(SQL)。
Primary和Mirror同步机制
Primary和Mirror同步的内容主要有两部分,即文件和数据。之所以Primary和Mirror要同步文件,是Primary和Mirror之间可以自动failover,只有两者保持同步才能相互替代,如果只把数据同步过去,pg_control、pg_clog、pg_subtrans 没有同步,那么从Primary切换到Mirror会出现问题。GP master和GP slave却不用担心这些问题,Append Only 表的数据只会存在 Segment,所以WAL日志足够保持GP master和GP slave同步(只要是流复制,pg_control、pg_clog、pg_subtrans 这些文件Slave会自动更新,无需从Master同步)。
数据同步
当Greenplum master向Primary下发执行计划后,Primary开始执行,如果是DML操作,那么Primary会产生XLOG及更新page。会在SlruPhysicalWritePage函数中(写数据页)产生FileRepOperationOpen、FileRepOperationWrite、FileRepOperationFlush、FileRepOperationClose等指令消息(消息中包含具体要更新的文件page及内容),通过primary sender进程向Mirror发送Message,然后Mirror的mirror consumer等进程解析消息,执行变更。XLOG通过XLogWrite函数(写XLOG)执行同样的操作,把XLOG更新同步过去。
文件同步
Primary会有个recovery进程,这个进程会循环把Primary的 pg_control、pg_clog、pg_subtrans 等文件覆盖到Mirror。同时检查XLOG是否一致,如果不一致以Primary为主,对Mirror进行覆盖。除了把Primary部分文件同步到Mirror之外recovery进程还会将Mirror上面的临时文件删掉。
总结
Primary和Mirror同步数据的时候,Primary对于每一次写page都会通过消息发送到Mirror,如果Primary大量的更新page,那么Primary和Mirror同步将有可能成为瓶颈。
- GreenPlum数据库的Primary/Mirror同步机制
- GPDB · 特性分析· GreenPlum Primary/Mirror 同步机制
- linode上搭建有standby+mirror功能的Greenplum集群并用TPC-DS基准测试
- Greenplum学习12--添加mirror节点
- GREENPLUM数据库
- greenplum数据库集群的安装实例
- GreenPlum 之数据库的用户角色管理
- GP数据库(GreenPlum)的启动/关闭/更新
- PostgreSQL 数据库的 primary、standby 架设
- Greenplum同步到Oracle
- Greenplum Sequence机制
- 数据库和缓存同步机制
- 同步多线程的同步机制
- greenplum数据库引擎探究
- greenplum数据库引擎探究
- greenplum数据库引擎探究
- Greenplum数据库整体架构
- greenplum数据库参数设置
- 给电脑C盘系统盘瘦身的四种方法
- hdu 5592 线段树
- C++:继承2(建筑物)
- hdu 5593 树形dp
- iOS学习__UI测试题及答案
- GreenPlum数据库的Primary/Mirror同步机制
- VM添加虚拟网卡后不能上网
- eclipse 单机版 mahout collaborative demo
- css中中float,relative,absolute的使用注意的问题
- leetCode 104. Maximum Depth of Binary Tree
- 我收藏的有关Python的电子书和资料
- android ValueAnimator ObjectAnimator
- LeetCode Sort Colors
- C++:继承3(是圆内、圆外还是圆上)