EDW项目中ODS源接口表清单维护方案

1、ODS的接口表信息保存在一个EXCEL表中

该表格有如下特性：

1)、所有的接口清单都在一个工作簿中；

2)、每一个sheet中存放来自一类源业务系统表的接口信息；

3)、不同阶段的接口表，只要是来自同一个源业务系统，都放在同一张sheet中，有[阶段]字段加以区分；

4)、每个sheet中也都会有一个[业务系统]字段，但对于同一个sheet，其应是同一值；

5)、对于一个sheet，可以添加一些衍生字段，如[edw期望加载方式]、[接口表测试环境存在情况]、[接口提出时间]等，但最重要的无非是下表所列示的7个；

6)、每一个sheet中都使用相同的表结构格式。

阶段

业务系统

业务系统中文名

业务系统原表名

ODS表名

ODS加载方式

备注

仓库1期

CMIS

授信合同

CMIS_SXHT

ODS_CMS_CMIS_SXHT

增量

　

仓库1期

CMIS

担保合同

CMIS_DBHT

ODS_CMS_CMIS_DBHT

增量

　

仓库2期

WFM

其他抵押资产

BIZ_COLLATERAL_ACCEPTANCEBILL

ODS_WFM_BIZ_COL_BA

全量

　

仓库2期

WFM

产品列表

BIZ_PRODUCT

ODS_WFM_BIZ_PRODUCT

全量

　

2、元数据进仓

初期，ODS要提供的接口表信息是存储在如上的EXECL表格中的。为了入仓及其他一些方面的应用，需要将EXECL中的清单信息导入到数据库中。

1)、存储ODS源接口表的表结构

 -- Create tablecreate table EDW_ODS_TAB_SRC( STAGE VARCHAR2(18), SRC_SYS VARCHAR2(18), SRC_TAB_NAME_CN VARCHAR2(36), SRC_TAB_NAME VARCHAR2(30), ODS_TAB_NAME VARCHAR2(30), ODS_LOAD_TYPE VARCHAR2(18), REMARK VARCHAR2(100));-- Add comments to the table comment on table EDW_ODS_TAB_SRC is '数据仓库源数据接口清单表';-- Add comments to the columns comment on column EDW_ODS_TAB_SRC.STAGE is '阶段';comment on column EDW_ODS_TAB_SRC.SRC_SYS is '业务系统';comment on column EDW_ODS_TAB_SRC.SRC_TAB_NAME_CN is '业务系统表中文名';comment on column EDW_ODS_TAB_SRC.SRC_TAB_NAME is '业务系统表原名';comment on column EDW_ODS_TAB_SRC.ODS_TAB_NAME is 'ODS表名';comment on column EDW_ODS_TAB_SRC.ODS_LOAD_TYPE is 'ODS数据加载方式';comment on column EDW_ODS_TAB_SRC.REMARK is '备注';

2)、生成插入库初始化脚本的perl程序

 ######################################################################use Win32::OLE qw(in with);use Win32::OLE::Const 'Microsoft Excel';######################################################################$Win32::OLE::Warn = 3;my $Excel = Win32::OLE->GetActiveObject('Excel.Application') || Win32::OLE->new('Excel.Application', 'Quit');my $fielname = q(C:/Users/nisj/Desktop/仓库源数据接口清单表设计/数据仓库源系统接口表格式.xls);my $Book = $Excel->Workbooks->Open("$fielname");open(F,'>C:/Users/nisj/Desktop/仓库源数据接口清单表设计/Ods_Interface_Data_Int.SQL');print F "TRUNCATE TABLE EDW_ODS_TAB_SRC;";print F "/n";foreach my $Sheetnum(1..$Book->Worksheets->count){my $Sheet = $Book->Worksheets($Sheetnum)||die "over";my $Source_Business_Systems = $Sheet->{Name};print F "--源业务系统：【$Source_Business_Systems】接口表的加载...";print F "/n";my $error_count = 0;for(my $ROW = 2;;$ROW++){ last if ($error_count == 1); ($error_count++,next) unless defined $Sheet->Cells($ROW,5)->{'Value'}; my $stage = $Sheet->Cells($ROW,1)->{'Value'}; $stage=uc($stage); my $src_sys = $Sheet->Cells($ROW,2)->{'Value'}; $src_sys=uc($src_sys); my $src_tab_name_cn = $Sheet->Cells($ROW,3)->{'Value'}; $src_tab_name_cn=uc($src_tab_name_cn); my $src_tab_name = $Sheet->Cells($ROW,4)->{'Value'}; $src_tab_name=uc($src_tab_name); my $ods_tab_name = $Sheet->Cells($ROW,5)->{'Value'}; $ods_tab_name=uc($ods_tab_name); my $ods_load_type = $Sheet->Cells($ROW,6)->{'Value'}; $ods_load_type=uc($ods_load_type); my $remark = $Sheet->Cells($ROW,7)->{'Value'}; $remark=uc($remark); print F "INSERT INTO EDW_ODS_TAB_SRC(STAGE, SRC_SYS, SRC_TAB_NAME_CN, SRC_TAB_NAME, ODS_TAB_NAME, ODS_LOAD_TYPE, REMARK)"; print F "VALUES(TRIM('$stage'), TRIM('$src_sys'), TRIM('$src_tab_name_cn'), TRIM('$src_tab_name'), TRIM('$ods_tab_name'), TRIM('$ods_load_type'), TRIM('$remark'));/n";}print F "commit;/n";}# clean up after ourselves$Book->Close;close(F);

3、此方案只是针对ODS源表的接口清单元数据入仓的方便，其他的诸如SDM映射关系元数据入仓都是同样的道理。