Data Integration学习笔记 --- 数据装载介绍
来源:互联网 发布:淘宝违禁词 编辑:程序博客网 时间:2024/05/19 06:49
在数据仓库中的数据来自多个相互关联的操作系统,则应该保证在这些系统同步工作时移动数据。
一、简介编辑:
数据装载是指将转换好的数据保存到数据仓库中去。一般情况下,数据装载应该在系统完成了更新之后进行。
在数据仓库中的数据来自多个相互关联的操作系统,则应该保证在这些系统同步工作时移动数据。
二、数据装载方式编辑
基本装载:
按照装载的目标表,将转换的过的数据输入到目标表中去。若目标表中已有数据,装载时会先删除这些数据,再装入新数据。
追加装载:
如果目标表中已经存在数据,在保存已有的数据的基础上增加新的数据。当一个输入的数据记录与已经存在的记录重复时,输入记录可能会作为副本增加进去,或者丢弃新输入的数据。
破坏性合并:
如果输入数据记录的主键与一条已经存在的记录的主键相匹配,则用新输入数据更新目标记录数据。如果输入记录是一条新的记录,没有任何与之匹配的现存记录,那么就将这条输入的记录添加到目标表中。
建设性合并:
输入的记录主键与已有的记录的主键相匹配,则保留已有的记录,增加输入的记录,并标记为旧记录的替代。
三、数据装载类型编辑
最初装载:
指的是第一次对整个数据仓库进行装载。在装载工作完成以后建立索引,这样可以减少创建索引时间。
增量装载:
指向已运行的数据仓库中装载源系统中已变化的数据。增量装载可以采用建设性合并的装载方式,也可以采用破坏性合并装载方式。
完全刷新:
用于周期性重写数据仓库。有时,也可能对一特定的表进行刷新。完成刷新与初始装载比较相似,不同点在于完全刷新之前,目标表中已经存在的数据。初始装载和追加装载都可以应用于完全刷新中。也可以选用批量装载程序进行数据装载,以提高数据装载的效率。
- Data Integration学习笔记 --- 数据装载介绍
- Data Integration学习笔记 --- 数据集成后数据校验细节
- Data Integration学习笔记 --- OLAP联机分析处理
- Spring Integration 学习笔记
- Spring Integration 学习笔记
- Spring Integration 学习笔记
- 机器学习小组知识点25:数据预处理之数据集成与数据变换(Data Integration and Transformation)
- Spring-Data—介绍(学习笔记)
- Spring Integration学习笔记一
- Spring Integration学习笔记二
- Data Binding(数据绑定)---学习笔记
- 【caffe学习笔记】Data Layers 数据层
- 类装载器学习笔记
- 使用Spring BlazeDS Integration进行数据推送服务(push data)
- 使用Spring BlazeDS Integration进行数据推送服务(push data)
- ESB学习笔记(Spring Integration实战)
- ESB学习笔记(Spring Integration实战)
- Data Analysis学习笔记 --- Python数据清洗处理时间数据
- SQL性能优化
- 什么是CGI、FastCGI、PHP-CGI、PHP-FPM、Spawn-FCGI
- postgresql 数据库添加空间扩展
- 【腾讯TMQ】如何轻松爬取网页数据
- ACM-二分贪心T-20
- Data Integration学习笔记 --- 数据装载介绍
- 第五步 javaweb开发之Servlet
- 《走出软件作坊2》 阿朱出品
- 搭建本地maven仓库实战
- requestmethod.get和post的区别
- 强大的武器
- 卫星地图在农业土地种植管理的应用
- 项目成本管理·九
- 26. Remove Duplicates from Sorted Array(easy)