老生常谈数据仓库如何保证数据质量
来源:互联网 发布:乐橙tp1接入网络失败 编辑:程序博客网 时间:2024/05/16 00:57
数据仓库如何保证数据质量
1、从技术层面我们需要构建一套高效、健壮的ETL程序去保证数据清洗、转换后数据的正确性和一致性
举个简单的例子:对日期格式的处理,源系统有2013-30-08 2013\8\30 20130830 2013-08-40 等多种不规范格式要考虑合面,统一清洗转换成一致性数据2013-08-30,同时对错误数据进行剔除
并且系统提供事后自动检验机制,支持灵活的自定义检验逻辑,数据一旦违反,给予预警!
2、从流程上来说整个ETL是多个任务,按步骤顺序执行的一个过程,后置任务依赖前置任务,定期执行,,整个流程需要自动化,并且哪个环节出现了问题,给予预警,通知相关维护人员及时处理
3、从管理层面上来说,数据仓库是构建在公司各个业务系统之上,它是一面镜子,很多时候它能反映出业务系统的问题,所以需要管理层的支持和约束,比如通过第一条说的事
后自动检验机制反映出业务系统的维护错误,需要相应的业务系统维护人员及时处理
- 老生常谈数据仓库如何保证数据质量
- 企业如何保证数据质量
- 数据仓库的数据质量
- 数据仓库的数据质量
- 如何保证睡眠质量
- 如何保证代码质量
- 如何保证代码质量
- 如何保证软件的质量?
- 关于数据仓库数据质量的问题处理
- 数据仓库数据质量的问题探讨(转)
- 数据仓库建设持续改进数据质量
- 如何保证代码复查的质量
- 软件开发管理--代码质量如何保证
- 如何保证代码的高质量?
- 如何保证代码的高质量?
- 程序员如何保证我们的代码质量
- 程序员如何保证产出高质量代码?
- [02-03]如何保证代码质量
- Struts2工作流程
- HTML5 App实战(5):指南针
- MacVim学习总结
- python16 文件的读写
- 浙江大学PAT上机题解析之1005. 继续(3n+1)猜想 (25)
- 老生常谈数据仓库如何保证数据质量
- 图标私家菜
- Django(一)
- flex DataGridColumn 固定序号
- layer弹出层
- Delphi中使用ADO连接Excel有感
- LeetCode:Combination Sum
- 一亿以内的阿拉伯数字大小写的转化
- The server does not support version 3.0 of the J2EE Web module specification