浅析变化数据捕获
来源:互联网 发布:热血传奇 怪物数据 编辑:程序博客网 时间:2024/04/29 04:00
Describe three change data capture (CDC) practices and the pros and cons of each.
简述出三种变化数据捕获技术及其优缺点。
答:
变化数据捕获(CDC)技术是ETL工作中的重点和难点,通常需要在增量抽取时完成。实现变化数据捕获时最理想的是找到源系统的DBA。如果不能找到,就需要ETL项目组自己进行检测数据的变化。下面是一些常用的技术。
1.采用审计列
审计列指表中如“添加日期”、“修改日期”、“修改人”等信息的字段。应用程序在对该表的数据进行操作时,同时更新这些字段,或者建立触发器来更新这些字段。采用这种方式进行变化数据捕获的优点是方便,容易实现。缺点是如果操作型系统没有相应的审计字段,需要改变已有的操作型系统的数据结构,以保证获取过程涉及的每张表都有审计字段。
2.数据库日志
DBMS日志获取是一种通过DBMS提供的日志系统来获得变化的数据。它的优点是对数据库或访问数据库的操作系统的影响最小。缺点是要求DBMS支持,并且对日志记录的格式非常了解。
3.全表扫描
全表扫描或者全表导出文件后进行扫描对比也可以进行变化数据捕获,尤其是捕获删除的数据时。这种方法的优点是,思路清晰,适应面广,缺点是效率比较差
- 浅析变化数据捕获
- 浅析变化数据捕获
- Oracle变化数据捕获CDC
- SQL Server2008新功能 捕获数据变化
- SSIS设计模式捕获变化数据
- zz)在SSIS 2012 中使用CDC 数据变化捕获
- 冒泡与捕获浅析
- 捕获变化数据(CDC,Changed Data Capture)的四种手段
- 数据仓库中捕获变化数据(CDC,Changed Data Capture)的四种手法
- 数据仓库中捕获变化数据(CDC,Changed Data Capture)的四种手法
- 在Kettle里使用时间戳实现变化数据捕获(CDC)
- 在Kettle里使用快照实现变化数据捕获(CDC)
- Android5.0通知变化浅析
- MDT 2012.1 捕获映像的变化
- CDC---变更数据捕获
- 变更数据捕获
- ActionForm捕获表单数据
- BmpMap图像数据捕获
- android平板上的GridView视图缓存优化
- 对多文件组织的错误整理
- 浅析数据库连接方式
- 三角形周长与面积
- commons.net FTP 实现断点续传
- 浅析变化数据捕获
- 构造函数
- How to make your own VST host
- 浅析数据质量检查
- C++箴言:理解typename的两个含义
- 几个有用的PHP.ini配置项(关于缓存和压缩方面的)
- Ant脚本示例代码
- ireport的使用总结
- java.lang.IllegalArgumentException: Timestamp format must be yyyy-mm-dd hh:mm:ss[.fffffffff]