【ETL】拉链表算法

拉链表算法

所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。

 

算法：（拉链表算法其实就是以前遇到过的缓慢变化维的其中一种情况，用存储过程实现的话稍微麻烦点。）

1采集当日全量数据到ND(NewDay)表；

2可从历史表中取出昨日全量数据存储到OD(OldDay)表;

3(ND-OD)就是当日新增和变化的数据，也就是当天的增量，用W_I表示；

4(OD-ND)为状态到此结束需要封链的数据，用W_U表示；

5将W_I表的内容全部插入到历史表中，这些是新增记录，start_date为当天，而end_date为max值；

6对历史表进行W_U部份的更新操作，start_date保持不变，而end_date改为当天，也就是关链操作；

 

下面为具体例子：

OD(在第一天就等于HIS)
用户标志    状态开始时间结束时间
1             1   200712   299901
2             2    200712   299901
3             3    200712   299901
4             4    200712   299901
5             5    200712   299901

ND
用户标志   状态开始时间结束时间
1             2   200801     299901
2             2    200801      299901
3             4    200801      299901
4             4    200801      299901
5             6    200801      299901

W_I=ND-OD
用户标志    状态开始时间结束时间
1             2  200801        299901
3             4   200801        299901
5             6   200801         299901

W_U=OD-ND
用户标志   状态开始时间结束时间
1            1  200712           299901
3            3   200712          299901
5            5   200712          299901

INSERT操作把I插入到HIS
用户标志   状态开始时间结束时间
1            1  200712         299901
2            2   200712           299901
3            3   200712           299901
4            4   200712           299901
5            5   200712           299901
1            2   200801          299901
3            4   200801          299901
5                     6  200801        299901

update操作按U更新HIS
用户标志    状态开始时间结束时间
1               1  200712  200801
2               2   200712  299901
3               3   200712  200801
4               4   200712   299901
5               5   200712  200801
1               2   200801  299901
3               4   200801  299901
5               6   200801  299901