上海太保P05项目——模型、增量、存量、UID与HASHCODE的逻辑

锚表里面存在有UNIQUE_ID_IN_SOURCE_SYSTEM，只是这个字段没有用到。

模型：全球200多家保险公司共同制订的一套通用系统，相当于一套规则。类似于石油欧配克组织。

在保险系统里面，有一种表关系，这种关系是：一张表的记录，对应多张表的记录（1：N），处于N那边的表是对处于1那边的表的一个修改版本。这两种表，都存在UID与HASHCODE字段。具有关系的两张表记录，其UID号是一样的。如果存在一张处于N那边的表记录，用它的UID匹配不到一张处于1的表记录，那么这张表是无效的表记录。保单表与批单表就是这种关系的一个实例。

保单表的记录，可能会经过多次修改，而且每次修改的记录都需要记录到数据库里。为了识别某条记录是某一条记录的修改版本，就产生了UID这个字段。凡是在从表里的记录的UID与主表某一条记录的UID相等，则认为这是主表记录的修改版本。当通过关联知道UID相同的两条记录，就把这两条记录的HASHCODE作比较。如果HASHCODE字段相等，则证明过来的数据是一条老记录；如果HASHCODE字段不相等，则说明过来的记录是条新记录。

增量：时间刻2相对于时间刻1（时间刻2>时间刻1）数据有差异的部分是增量数据部分。

存量：存量是第一入库的数据。

存增量模式：客户提供的数据是以系统为单位，如果来自A表的任何一条记录，都能在B表中找到关联的记录，这种模式就是存增量模式。

首先，客户抽取的数据是随机抽取的，会有出现A表中某些记录，在B表中是找不到关联记录的情况。如果要保证记录是全增量的模式，就必须在客户得到提供的A表的记录后，把B表中的记录全部抽取出来，相当于为B表做一个副本，从而把所有在B表中与A表所有记录相关联的记录都找出来。这里涉及一个问题，就是B表的数据一定要抽取出来！因为客户的表都是生产表，只能采取读取副本的方式获取B表记录。如果直接用A表左联B表，会造成生产表响应慢，这样后果很严重。

存增量的工作过程是：客户提供来自A表的数据，从B表中读取副本数据，用A表左联B表，把得出的结果放到目标表里。

在这个项目中，目标表数据的作用还未明确。

案例：

A（UID，HASHCODE，DLDDM）
       --A（业务号，哈希号，代理点代码）

B（UID，HASHCODE，DLDMC）
       --B（业务号，哈希号，代理点名称）

A表有记录：

A.UID  A.HASHCODE  A.DLDDM
       A               1                  SH001
       B               2                  SH002
       C               3                  SH003
       D               4                     SH004

从B表中抽取数据副本：
    SELECT UID，HASHCODE，DLDMC，[MACK] =  “9999” INTO TMP_B FROM B
    --MACK的作用！
    比如查询得到的记录为：

B.UID              B.HASHCODE              B.DLDMC
A                             1                         上海
A                             3                         广州
C                             5                         深圳
E                             7                         北京

用A表左联B表的副本：
    SELECT A.UID,A.HASHCODE,A.DLDDM,B.UID,B.HASHCODE,B.DLDMC,B.MACK FROM A LEFT JOIN TMP_B B ON A.UID = B.UID

根据左联的工作原理，A表的所有记录必然会出现结果集左集合中，B表的能与A关联的记录会出现在结果集右集合中，B表与A表关联不上的就会在结果集右集合中填充HULL。故上面SELECT的结果集体为：
A.UID     A.HASHCODE       A.DLDDM     B.UID     B.HASHCODE       B.DLDMC  B.MACK
A            1           SH001      A            1            上海      9999
A            1           SH001      A           3            广州      9999
B            2           SH002     NULL    NULL    NULL    NULL
C            3           SH003      C           5            深圳      9999
D            4           SH004     NULL       NULL         NULL    NULL

        判断是否新增记录（UID是否相等）：由于在抽取B表时所使用的SQL语句里同时包含了一个附加的常量字段MACK，其值为9999。故在结果集中，检索MACK字段是否为空，就可以知道结果集中哪些是关联得上的，那些是关联不上的记录了，如上面结果集中第三与第五行记录就是那些在B表中关联不上而得出的记录。

判断是否增量数据：既是增量数据，其UID是一样的。经过上面的数据筛选，已经把没有关联（MACK IS NULL）的记录过滤了，剩下的都是能关联的记录，即第一，第二与第四行的记录。然后再判断A.HASHCODE与B.HASHCODE两个字段是否相等，相等的就证明过来的记录是老记录，如第一行的记录即使一条老记录关联得到的结果记录；如不相等，则说明过来的记录是新记录，如第二行与第四行的记录都是新记录关联得到的记过。

通过上述的工作逻辑，就可以判断客户所提供的所有数据的类型：是否新业务数据，是否是老业务数据，是否是老业务数据的增量数据。从而分别处理不同类型的数据。