ETL是BI(商业智能)的基础,调度是ETL的灵魂
来源:互联网 发布:java中的弱引用 编辑:程序博客网 时间:2024/06/15 16:25
ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程 你想啊,数据的由来都是ETL实现的,以后所有的数据处理,不都是要依靠这些抽取来的数据。这一块没有做好,后面的分析,展现就是来了大神,他也没有办法,就像巧妇难为无米之炊一样。所以说ETL是BI商业智能的基础, 调度是ETL的灵魂,我们首先讲讲调度的功能。2. ETL调度功能说明 调度维护1) 调度系统参数维护,对调度系统的公共参数:期数、进程数、数据日期、本期开始日期和本期结束日期进行设置和修改。2) 下传文件信息维护,维护所有区域的下传文件名称、文件状态、文件数据日期和对应区域的归属关系。3) 作业步定义与维护,定义作业对应的实际ETL处理过程,生成作业编号,定义作业类型和作业的驱动关系,作业的运行所需要的条件。4) 调度异常处理,对调度过程中出现的异常情况进行处理,提供错误查找、出错重跑功能。 日志管理1) 调度过程日志,管理记录调度中的主要过程和异常信息,如调度开始、调度完成、数据库操作异常和读写文件异常的日志。2) Job执行日志,管理记录Job执行信息的日志,提供该日志的查询、删除和执行状态重置功能。3) Job详细事件日志,管理记录Job执行中的详细事件(清洗记录条数、数据库具体操作情况)的日志,提供对日志的查询、删除操作。 作业调度正常情况下的作业调度,对整个ETL过程进行调度,提供分段提交处理和自动提交处理功能。 可调度的Job类型1) C程序(清洗),ETL调度提供与C程序的接口,从而可以对C程序进行调度。2) 用C封装的SQLLDR(加载),将ORACLE SQLLDR封装在C程序中进行调度。3) PROC程序(合并、转换),对合并和转换过程,调度提供相应的接口,从而对ORACLE的PROC程序进行调度。4) 存储过程(转换),将存储过程封装在PROC程序中进行调度。5) DataStage(PI加工),调度系统提供了与DataStage的接口,可以对DataStage各个种类的Job进行调度。 你看看,是不是最不好处理的问题基本上都是调度在处理。所以说调度是ETL的灵魂。
0 0
- ETL是BI(商业智能)的基础,调度是ETL的灵魂
- 协同是商业智能BI的未来
- 商业智能(BI)是一种解决方案
- 商业智能(BI)基础
- ETL是通过一个简单编程工具联系的三个独立数据中心功能。ETL代表什么?
- BI,ETL
- 商业智能(BI)的三维框架
- IT的商业智能(BI)
- 商业智能BI的困惑
- BI---我的商业智能
- ETL调度datastage之dsjob的用法
- shell写的自动恢复ETL调度
- 数据仓库ETL调度工具的开发(一)
- 我对ORACLE BI 的ETL的一些总结
- BI基本架构和ETL的个人理解
- BI基本架构和ETL的个人理解(ZZ)
- BI基本架构和ETL的个人理解(转)
- ETL系列专题 1——DW/BI的基石
- bisection bandwidth 对分带宽
- Linux awk 只处理第一个匹配的行与只处理指定行
- HTTPS协议详解(二):TLS/SSL工作原理
- 【第二周项目3-体验复杂度(2)——汉诺塔】
- html学习笔记之form表单
- ETL是BI(商业智能)的基础,调度是ETL的灵魂
- Solr学习一平台的搭建
- 第二周项目3-体验复杂度—两种排序算法的运行时间
- oracle各种查询语句
- 第二周-项目1 三种传值方式
- 第二周项目3体验复杂度 汉诺塔问题
- redis 安装教程
- linux gdb 调试core dump初探
- ajaxfileupload上传文件dataType为json时报jQuery.handleError is not a function