初学数据仓库-ETL简单理解
来源:互联网 发布:詹姆斯nba生涯数据最新 编辑:程序博客网 时间:2024/06/07 13:04
先来看一下数仓整体的架构图
简单说一下何为ETL:
ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。
ETL是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。
ETL**工具**的典型代表有:Informatica、Datastage、OWB、微软DTS、Beeload、Kettle等等……
开源的工具有eclipse的etl插件:cloveretl
ETL元数据:过程元数据,技术元数据,业务元数据
1.过程元数据:
- ETL操作统计包括开始时间、结束时间、占用CPU秒数。磁盘写和行计数
- 审计结果包括校验和其他度量质量和完整性的方法
- 质量筛选结果描述了错误条件,发生频率和系统对所有质量筛选结果施加的行为
2.技术元数据
- 所有ETL表的数据存储描述和DDL脚本如表的设计,包括规范化的模式、维度模式、独立的关系表、持久化XML文件和平面文件
- ETL**数据存储策略和步骤**包括保留、备份、存档、回复
-* 异常处理逻辑*确定了当数据质量筛选发生错误时时应当如何处理
还有好多专业术语太多了就不写了大家可以看一下《数据仓库生命周期工具箱第二版》
3.业务元数据
- 说白了就是对一些数据进行描述
- 初学数据仓库-ETL简单理解
- 初学数据仓库项目理解
- 初学数据仓库--简单概念
- 数据仓库概念的简单理解
- 数据仓库ETL流程规范
- 数据仓库的ETL工具
- 数据仓库之ETL漫谈
- 数据仓库之 ETL漫谈
- 数据仓库之 ETL
- ETL(数据仓库技术)
- 数据仓库之ETL导读
- 数据仓库之ETL应用
- ETL(数据仓库技术)
- ETL(数据仓库技术)
- ETL (数据仓库技术)
- etl数据仓库技术
- 数据仓库之ETL漫谈
- 数据仓库之ETL
- 轮播图(更新版)
- UIModalPresentationFormSheet模式下隐藏键盘
- 网站开发资料
- inline内联函数
- WebView图片自适应屏幕
- 初学数据仓库-ETL简单理解
- iOS的framework动态库
- SVN地址
- react native point
- PWM(脉宽调制)
- React/React Native 的ES5 ES6写法对照表
- iOS10/sdk10/xcode8/iphone7(+)/swift3适配
- python学习之字符串
- iOS10 推送通知整理