BW增量处理

来源:互联网 发布:mac 环境变量配置方法 编辑:程序博客网 时间:2024/05/22 12:28
BW系统抽取外部业务系统数据,连接的是oracel数据库。如何进行初始化后增量更新,需要哪里设置呢?
目前我们已经设置好BW数据源,做了初始化信息包和增量更新的信息包。初始化后的信息包可以完全抽取数据,
但是执行增量更新的信息包后,还是会把初始化后的数据抽过来,数据重复了!

如何正确设置增量抽取呢?

像BW中取ODS的DELTA不太可能, 因为没有CHANGE LOG 表
你可以创建不同个INFOPACKAGE 来提取不同时期的数据(如果是以时间为增量)。

另外还可以用在CMOD 里有USER EXIT 来选取时间变量。

想做到像 BW ETL from R/3 那樣有 Delta 機制嗎?
根據我的使用上,用過的幾種 Source System,
只有 R/3 可以做到 , 那是因為 R/3 & BW 兩端都有紀錄系統的 Timestamp,
要做 Delta 時,就會根據Timestamp來找上次異動記錄,而決定這次要 ETL 的範圍,
Source system 是 DB Connect 時, 就少了這種紀錄來Control Delta.

不過也不是不能做到類似 Delta,變成這種控制要做在 DB 那邊,
舉例來說, 假如 BW 每天 從 DB ETL 一次資料,
就寫 SQL Script 將每天異動資料 Insert 到 Table,
等 BW ETL後再透過 Script 將該 Table record 搬走清空,