DW Automation

一： 简介


1. 为什么需要  DW Automation？
    数据仓库中，通常所涉及的数据来源非常多，同时所需要加载的数据良非常大。


2. DW Automation能为我们做什么？
    判断条件是否满足，然后自动执行。


3. ETL Automation是TD二次开发的一个用于自动化完成数据ETL等作业的Tool


ETL : data extration, transformation and loding, 是对数据进行加载抽取，

          清洗、转换整合的过程。 通过ETL的过程，数据从联机事务处理系统、外部数据源、

         脱机数据存储介质中导入到数据仓库。


二： 架构


1. DW 组成
   由6个Windows Service 支撑
   ETLMAS ,ETLRCV ,ETLAGT ,ETLCLN ,ETLMSG ,ETLWDG ,ETLSCH(主) 


3个重要进程：
  etlslave_nt.exe
  etl_nt.pm
  gftp_nt.pm

三： ETL任务设计
作业触发机制
作业被触发的几种方式
（1）通过作业的触发关系自动触发【job stream 1:1 , 1:N】
（2）通过作业的群组关系触发【job group N:1】
（3）通过脚本生成控制文件自动触发
          可以处理需要数据文件的作业
（4）通过图形操作界面手工触发



Q: 名词解释
45库（测试库） ，标签库（上海移动的产品） ，4A平台  ，AS