BI开发流程和ETL介绍

BI开发流程和ETL介绍

BI开发过程

1.       构建维度-事实模型
2.       根据维度-事实模型搭建数据仓库（维度、事实）
3.       数据抽取（ETL）
4.       构建销售信息的分析模型主题
5.       搭建报表分析、仪表盘

BI商业智能系统根据企业需要解决的问题，帮助企业建立相应的分析主题和分析指标，从业务系统的基础数据库中抽取需要的数据，按预先建立的业务模型进行分析决策，分析结果显示直观、形象。决策者只需要简单地点取操作，便可以从商业智能强大的销售分析工具中获得所需的决策信息。 

ETL中的E->(ODS->SDE->SIL)(强大的ETL工具)<=>ETL中的T-> ETL中的L->DW->BIEE(RPD物理)-> BIEE(RPD逻辑)-> BIEE(RPD展示)->报表

也可以根据报表来推出ODI接口中的表，对于个别表可以反推将表手工用数据采集平台导数。

 

实现ETL，首先要实现ETL转换的过程。它可以集中地体现为以下几个方面：

1、空值处理可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。

2、规范化数据格式可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。

3、拆分数据依据业务需求对字段可进行分解。例，主叫号861082585313-8148，可进行区域码和电话号码分解。

4、验证数据正确性可利用Lookup及拆分功能进行数据验证。例如，主叫号861082585313-8148，进行区域码和电话号码分解后，可利用Lookup返回主叫网关或交换机记载的主叫地区，进行数据验证。

5、数据替换对于因业务因素，可实现无效数据、缺失数据的替换。

6、Lookup查获丢失数据 Lookup实现子查询，并返回用其他手段获取的缺失字段，保证字段完整性。

7、建立ETL过程的主外键约束对无依赖性的非法数据，可替换或导出到错误数据文件中，保证主键唯一记录的加载。

 

Extract 通过接口提取源数据，例如ODBC、专用数据库接口和平面文件提取器，并参照元数据来决定数据的提取及其提取方式。

Transform 开发者将提取的数据，按照业务需要转换为目标数据结构，并实现汇总。

Load 加载经转换和汇总的数据到目标数据仓库中，可实现SQL或批量加载。

整个流程问题查找

--缺失字段查找

--从报表---RPD---ODI（从SIL-SDE-ODS主要看源于目标的关系-F-FS-V）---视图对应其逻辑（视图找到其最基本的表来对数，查看关系）

 

--缺失记录对数

对数最主要是找到逻辑即视图，看视图里面是否对的上，对不上则往视图的的来源表找，最终确定是否有数，如果源表有数而视图没数则需要查看ODS层和其过滤器了，涉及主要有过滤器和逻辑的正确与否也包括事实表和维度表。

普通Oracle BI系统实施的总体系统结构如下：

此次BI系统实施数据主要来源有：

1．ORACLE EBS（ERP系统，取得实际数据）。

2．Hyperion Planning（海波龙预算系统，取得预算数据）。

3．Hyperion Financial Management（海波龙财务报表合并系统，取得抵消数）。

4．数据采集平台（取得Report Item, Mapping, 通用权限）。

Oracle Essbase BI 系统实施的总体系统结构如下：

Essbase支持两种模式的Application，一种是ASO模式(AggregateStorage Option)，

另一种是BSO模式(Block Storage Option) 。两种模式存在着互补性，以下对于两种模式

进行比较：

通常意义上的BI分析多指OLAP，详见OLAP和OLTP。