睿智（睿金）ETL介绍

 
图1

系统总体描述

• 开发语言 纯ＪＡＶＡ开发 
• 支持的平台 SUN Solaris 、 HP-UX 、 IBM AIX 、 AS/400 、 OS/390 、 Sco UNIX 、 Linux 、 Windows 等
• 支持数据源 DB2 、 Informix 、 Oracle 、 Sybase 、 SQL Server 、 Teredata 、 OleDB 、 SAS 、 Text 、 Excel 、 SAP、 Peoplesoft 、 IMS 、 VSAM 、 QSAM on 390 、 FTP 、 XML 、 MessageQueue 、 Weblog
• 数据转换功能 字段映射；映射的自动匹配；字段的拆分；多字段的混合运算；跨异构数据库的关联；自定义函数；多数据类型支持；复杂条件过滤；支持脏读；数据的批量装载；时间类型的转换等等。
• 管理和调度功能统一的基于三层体系架构开放性的平台，支持多线程、并发性、分布式、负载均衡。 支持时间触发方式；支持事件触发方式；支持命令行执行方式；支持用户对计算机资源的管理和分配；负载均衡；调度过程中能够执行其他任务等。，支持统一的管理监控。
• 集成和开放性 产品充分利用当今的最新的软件技术，采用面向服务的体系架构 SOA （ Service Oriented Architecture  ）将各种数据处理和处理方法作为“插 件”插入到 UDIS 统一的平台系统中，能共享 UDIS 的基础资源，能方便的集成第三方的产品同时也便于第三方集成我们的产品。另外对用户自定义资源如自定义函数、规则引擎、个性化清洗方法等可以方便的进行添加和管理。　　　　　　　　　　　　　　　　　　　
• 元数据管理 支持统一的元数据管理，对技术层面和业务层面的原数据进行统一的管理，支持多种方式访问元数据；支持开放的元数据标准；支持 XML 进行元数据交换；支持分布式的元数据访问和管理；支持元数据重用等。 
  
  应用场景
• 历史数据迁移 实现历史遗留数据的重用，将历史数据迁移到新的目标数据库中
• 数据同步 实现分布的数据库中数据的上传、下载，保证分布数据库中的数据的一致性
• 数据合并 实现不同应用的数据库中的个性化数据到统一结构的数据库中的数据的合并，包括清洗、转换等操作
• 数据交换 实现分布的数据库和集中的数据库之间的交互。包括数据集中、数据分发、格式转化等
• 数据仓库 实现将分散的数据集中到统一的数据仓库中，并建立统一的数据模型来存储。包括：数据的上传、转换、将处理后的结果装载到事实表中，结合维度表形成数据立方。供 OLAP 分析、 报表、预测等 BI 应用使用
• 数据联邦 保存数据源的映射关系，数据仍在原系统中存储，主要满足数据的实时处理、统一结构视图等需要 

数据抽取方式

• 批量数据抽取 定期批量的抽取数据源的数据 
• 变化数据抽取 根据数据源的变换，抽取变化的数据（包括：新增、修改、删除等） 
  实时数据抽取 实时捕捉数据源的数据进行抽取
• 数据交付方式
• 加载到物理目标 将抽取过滤的数据经过清洗、转换处理后加载到目标库中，这里可以进行事实表和立方体的处理，也可以仅作转换处理到目标表，也可以不作转换直接到目标表等
• 生成虚拟视图 做数据联邦处理，不做数据的集中，数据分散存储在各自的业务系统中，目的是提供统一视图供其他系统使用数据
• 发布到 Web Service 将集成的数据发布到 Web Service 供其他系统使用
• 发布到消息总线上 将集成的数据发布到消息总线上供其他系统使用 

详情见：[url]www.reiking.com.cn[/url]