Data Integration学习笔记 --- 数据装载介绍

来源:互联网 发布:淘宝违禁词 编辑:程序博客网 时间:2024/05/19 06:49
数据装载是指将转换好的数据保存到数据仓库中去。一般情况下,数据装载应该在系统完成了更新之后进行。

在数据仓库中的数据来自多个相互关联的操作系统,则应该保证在这些系统同步工作时移动数据。


一、简介编辑:
    数据装载是指将转换好的数据保存到数据仓库中去。一般情况下,数据装载应该在系统完成了更新之后进行。
在数据仓库中的数据来自多个相互关联的操作系统,则应该保证在这些系统同步工作时移动数据。


二、数据装载方式编辑


   基本装载:
按照装载的目标表,将转换的过的数据输入到目标表中去。若目标表中已有数据,装载时会先删除这些数据,再装入新数据。


   追加装载:
如果目标表中已经存在数据,在保存已有的数据的基础上增加新的数据。当一个输入的数据记录与已经存在的记录重复时,输入记录可能会作为副本增加进去,或者丢弃新输入的数据。


   破坏性合并:
如果输入数据记录的主键与一条已经存在的记录的主键相匹配,则用新输入数据更新目标记录数据。如果输入记录是一条新的记录,没有任何与之匹配的现存记录,那么就将这条输入的记录添加到目标表中。


   建设性合并:
输入的记录主键与已有的记录的主键相匹配,则保留已有的记录,增加输入的记录,并标记为旧记录的替代。


三、数据装载类型编辑


   最初装载:
指的是第一次对整个数据仓库进行装载。在装载工作完成以后建立索引,这样可以减少创建索引时间。 


   增量装载:
指向已运行的数据仓库中装载源系统中已变化的数据。增量装载可以采用建设性合并的装载方式,也可以采用破坏性合并装载方式。


   完全刷新:
用于周期性重写数据仓库。有时,也可能对一特定的表进行刷新。完成刷新与初始装载比较相似,不同点在于完全刷新之前,目标表中已经存在的数据。初始装载和追加装载都可以应用于完全刷新中。也可以选用批量装载程序进行数据装载,以提高数据装载的效率。

0 0
原创粉丝点击