第一章:OGG简介
来源:互联网 发布:k均值聚类算法opencv 编辑:程序博客网 时间:2024/05/23 14:04
ogg 下载地址:
http://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html
一、 Golden Gate 软件的分类
(1)Golden Gate:包括GoldenGate Capture, Deliver 和ActiveData Guard, XStream on Oracle DB,并支持各种开放数据系统,是我们通常讲的OGG的概念。
(2)Golden Gate Director:实际上,在下载的时候,可以发现没有Director的类目了,替换的是一个Golden Gate Management Pack的包,其实这个就是之前的OGG Director。Management Pack是基于浏览器的管理工具包,有限使用WebLogic SE,所以配置MP,需要先安装weblogic。
(3)Golden Gate Veridata:跨平台比较复制的源库和目标库,为Golden Gate源端和目标端提供数据比对和校验的功能。
--2个不常见:
(1)Golden Gate for Mainframe:包括GoldenGate Capture, Deliverfor HP Non-Stop, IBM DB2on
Mainframe, plus Syncfile。
(2)Golden Gate Adapters:对Java、Flat File、Siebel等的接口包。
2. ogg的应用场景:
①.数据迁移;②.数据中心 ③.双活中心
二:OGG的架构:
2.1 OGG架构与工作原理
在Oracle OGG 12c中,有如下组件:
(1)Extract
(2)Data pump
(3)Replicat
(4)Trails 或 extract files
(5)Checkpoints
(6)Manager
(7)Collector
两条线:
initial load : 在初始化装载过程中,Extract 进程直接从源对象中抽取当前的数据。
source --> target (两种方式:expdp/rman 基于scn)
change synchronizaton :为了保证源数据和其他对象保持数据的一致,extract 进程会捕获源对象自初始化同步以后的DML 和DDL 的变化。
expdp 和 rman , expdp可控性好根据情况开并行;
异库: 直接拉数据;(装载和同步分开);
三:OGG的主要进程
①. Extract 进程: 负责数据的抽取工作;(没有提交之前extract捕获事物信息,commit后捕获抽取到trail文件里面;
如果是rollback,事物操作不用写入到trail文件里面);
如果有一个user里面有100个table,只有一个extract; 就会出现等待,可以配置5个extract,每个同步20个表;
②. data dump进程:将队列数据发送到目标
好处: ①.预防网络和源库的故障;
②.可以对数据进行过来和转换;
③.synchronize方式从多个源库上合并数据到一个中心库;
④.synchronize方式将一个源库数据传到多个目标库;
③.Replicat 进程 : Replicate 进程运行在目标系统上,该进程会读取目标端的trail中的文件,并将解析为DML 或者DDL 语句,然后在目标数据库执行。
当仅配置了一个Replicate 进程的时候,可以对该进程配置为coordinated 或者 integrated 模式:
(1)Coordinated mode
Coordinated 模式支持所有OGG支持的数据库。 在该模式下,Replicat有一个协调线程,并且协调一个或者多个coordinates thread 并行的执行 replicate的SQL 操作。
(2)Integrated mode: Integrated 模式仅支持11.2.0.4 之后的Oracle 数据库。
Trails 文件: 按照事物的时间顺序写的。默认是10M.
哪些进程可以读写 Trail文件?
extract data pump replicate
trail 文件会在进程需要的时候自动创建,但在使用add rmttrail 或者 exttrail 命令往OGG的配置中添加trail时,必须指定为trail 文件的名称指定2个字符。 默认情况下,trails存放在GG 安装目录的dirdat 子目录下。
默认情况下,每个trails的文件是10M,为了保证进程的正常运行必须不断的创建的新的trail 文件。 这个过程由OGG 自动实现,并且不影响OGG的运行。
每个新生成的文件,文件名都会继承旧trail文件的前2个字母,然后加上6个数字, c:\ggs\dirdat\tr000001
Extract Files : 与 trail 文件相比,少了checkpoints的信息。
checkpoints : 记录
Replicat 进程 : ①. 在 target 端建 checkpointtable(建议),②. 产生一个checkpoints文件(默认)
为啥 checkpoint table, 比 checkpoints文件 好?
2T, 库挂掉了,重新恢复,用checkpoins文件是恢复之前的checkpoints
1 ----2 ----3 时间
库恢复到2时间点,checkpoint文件记录的是3的时间点,这是checkpoint和数据里面的checkpoint对不上,ogg就不能同步了。
checkpoint table: 库恢复到2的时间点,checkpointtable里面的当前checkpoint时间为2的信息。就可以继续同步。
initial load : 在初始化装载过程中,Extract 进程直接从源对象中抽取当前的数据。
source --> target (两种方式:expdp/rman 基于scn)
change synchronizaton :为了保证源数据和其他对象保持数据的一致,extract 进程会捕获源对象自初始化同步以后的DML 和DDL 的变化。
expdp 和 rman , expdp可控性好根据情况开并行;
异库: 直接拉数据;(装载和同步分开);
三:OGG的主要进程
①. Extract 进程: 负责数据的抽取工作;(没有提交之前extract捕获事物信息,commit后捕获抽取到trail文件里面;
如果是rollback,事物操作不用写入到trail文件里面);
如果有一个user里面有100个table,只有一个extract; 就会出现等待,可以配置5个extract,每个同步20个表;
②. data dump进程:将队列数据发送到目标
好处: ①.预防网络和源库的故障;
②.可以对数据进行过来和转换;
③.synchronize方式从多个源库上合并数据到一个中心库;
④.synchronize方式将一个源库数据传到多个目标库;
③.Replicat 进程 : Replicate 进程运行在目标系统上,该进程会读取目标端的trail中的文件,并将解析为DML 或者DDL 语句,然后在目标数据库执行。
当仅配置了一个Replicate 进程的时候,可以对该进程配置为coordinated 或者 integrated 模式:
(1)Coordinated mode
Coordinated 模式支持所有OGG支持的数据库。 在该模式下,Replicat有一个协调线程,并且协调一个或者多个coordinates thread 并行的执行 replicate的SQL 操作。
(2)Integrated mode: Integrated 模式仅支持11.2.0.4 之后的Oracle 数据库。
Trails 文件: 按照事物的时间顺序写的。默认是10M.
哪些进程可以读写 Trail文件?
extract data pump replicate
trail 文件会在进程需要的时候自动创建,但在使用add rmttrail 或者 exttrail 命令往OGG的配置中添加trail时,必须指定为trail 文件的名称指定2个字符。 默认情况下,trails存放在GG 安装目录的dirdat 子目录下。
默认情况下,每个trails的文件是10M,为了保证进程的正常运行必须不断的创建的新的trail 文件。 这个过程由OGG 自动实现,并且不影响OGG的运行。
每个新生成的文件,文件名都会继承旧trail文件的前2个字母,然后加上6个数字, c:\ggs\dirdat\tr000001
Extract Files : 与 trail 文件相比,少了checkpoints的信息。
checkpoints : 记录
Replicat 进程 : ①. 在 target 端建 checkpointtable(建议),②. 产生一个checkpoints文件(默认)
为啥 checkpoint table, 比 checkpoints文件 好?
2T, 库挂掉了,重新恢复,用checkpoins文件是恢复之前的checkpoints
1 ----2 ----3 时间
库恢复到2时间点,checkpoint文件记录的是3的时间点,这是checkpoint和数据里面的checkpoint对不上,ogg就不能同步了。
checkpoint table: 库恢复到2的时间点,checkpointtable里面的当前checkpoint时间为2的信息。就可以继续同步。
0 0
- 第一章:OGG简介
- 第一章 简介
- 第一章 简介
- 第一章 简介
- 第一章 简介
- 第一章 简介
- 第一章 简介
- ogg
- OGG
- ogg
- OGG
- ogg
- ogg
- ogg
- OGG
- OGG
- OGG
- 第一章Java简介
- linux命令7--cut命令
- RTT学习笔记之内存池管理(静态内存池)
- [每天读书半小时] 2015-6-12 Servlet / JSP
- 不用加减乘除做加法
- 【java基础】——java面向对象(上)—面向对象、类与对象、封装、构造函数等
- 第一章:OGG简介
- 在goroutine里并发调用sshagent出现panic的解决方案
- GitHub 上大概600个开源 iOS 项目的分类和介绍,对于你挑选和使用开源项目应该有帮助
- 小谈==与isEqual方法
- 最大堆,最小堆插入/删除以及最大堆的排序
- NativeViewer for VS2010
- 进一步改进小游戏
- 多角度思考 创造性思维 几乎整个Byteland王国都被森林和河流所覆盖 题
- 解压缩zip文件