DB2: Load

来源:互联网 发布:昆山美工培训多少钱 编辑:程序博客网 时间:2024/05/17 22:29

装入(Load)  

与Import类似,均为将数据存到目标表中, load命令后面所跟的参数要多很多,load的性能也比import高.

1. load之前,目标表必须已经存在;

2. load操作不记录到日志中,所以不能使用日志文件进行前滚操作;

  Load分为4个阶段:  

1. 装入阶段  在这个阶段发生两件事:数据存储在表中,收集索引键并排序。在装入时,DBA可以指定多长时间生成一致点。  它是装入工具的检查点。假如装入在执行期间被打断,它可以从最后一个一致点处开始继续重新执行。  

2. 构建阶段  在构建阶段,基于在装入阶段收集的索引键信息创建索引。假如在构建阶段发生错误,装入工具就重启,它将从构建阶段开始处重新开始构建。  

3. 在删除阶段,所有违反唯一或主键约束的行都被删除并拷贝到一个异常表(假如在语句中指定相应选项)中。当输入行被拒绝,消息文件中就生成消息。  

4. 索引拷贝阶段  假如在装入操作期间为索引创建指定了系统临时表空间,并且选择了 READ ACCESS 选项,该索引数据将从系统临时表空间拷贝到原来的表空间。

  装入过程的所有四个阶段都是操作的一部分,只有在所有的四个阶段都完成之后,该装入操作才算完成。在每个阶段都将生成消息,一旦其中的某个阶段发生错误,这些消息可以帮助DBA分析并解决问题。  

import操作每次插入一行数据时都要检查是否满足约束条件,并且记入日志文件中。  

下面我们看一些LOAD命令特有的功能,IMPORT命令也能做的就不再具体说了。


例十二:从游标类型文件中进行装入  

定义一个cursor  

declare mycur cursor for select * from org  

创建一个新表,结构与cursor相容  

create table org2 like org  

从cursor中装入  

load from mycur of cursor insert into org2  

除了可以从cursor中装入,还可以从文件、管道、设备中进行装入;而import命令只能从文件中导入。  


例十三:关于异常表  

由用户定义的异常表可以用于存储不遵循唯一约束和主码约束的行。

假如装入的时候没有指定异常表,则违反唯一约束的行将被丢弃并且将不再有机会恢复或修改。  

用SAMPLE数据库中的STAFF表做实验  

1. 创建一个结构与STAFF表相同的表STAFF1  

CREATE TABLE STAFF1 LIKE STAFF  

2. 把STAFF表中的一部分数据插入到STAFF1中  

INSERT INTO STAFF1 SELECT * FROM STAFF WHERE ID<=160  

3. 再创建一个结构与STAFF1相同的表STAFFEXP,作为异常表  

CREATE TABLE STAFFEXP LIKE STAFF1  

4. 给该异常表添加一列,因为异常表和普通表相比,前面的结构都相同,就是最后多出一列或两列(列名任意),第一列是时间戳类型,记录异常记录插入的时间,第二列是大文本类型(至少为32K大小),保存导致该条记录被拒绝的特定约束信息。本例中只添加一个时间戳列。  

ALTER TABLE STAFFEXP ADD COLUMN TIME TIMESTAMP  

5. 为STAFF1表创建一个唯一索引  

CREATE UNIQUE INDEX IDXSTAFF ON STAFF1(ID)  

6. 先运行导出命令做出一个文本文件  

EXPORT TO D:STAFF.TXT OF DEL SELECT * FROM STAFF  

7. 然后运行装入命令把数据再装入到STAFF1表中  

LOAD FROM D:STAFF.TXT OF DEL INSERT INTO STAFF1 FOR EXCEPTION STAFFEXP


由于表STAFF1中有唯一索引,所以会有一部分数据因为违反这个约束条件而不能插入到STAFF1表中,这些记录就会插入到异常表STAFFEXP中。  

注意一点,异常表必须自己先定义好,装入命令不能够自动生成异常表,假如找不到指定的异常表,就会报错。  


例十四:关于DUMP文件  

格式不正确的行会被拒绝,通过指定DUMPFILE文件类型修饰符可以使这些被拒绝的记录单独放在指定的文件里。  

用SAMPLE数据库中的STAFF表做实验:  

1. 创建一个结构与STAFF表相同的表STAFF1  

CREATE TABLE STAFF1 LIKE STAFF  

2. 把STAFF表中的一部分数据插入到STAFF1中  

INSERT INTO STAFF1 SELECT * FROM STAFF WHERE ID<=160  

3. 再创建一个结构与STAFF1相同的表STAFFEXP,作为异常表  

CREATE TABLE STAFFEXP LIKE STAFF1  

4. 给该异常表添加一列  

ALTER TABLE STAFFEXP ADD COLUMN TIME TIMESTAMP  

5. 为STAFF1表创建一个唯一索引  

CREATE UNIQUE INDEX IDXSTAFF ON STAFF1(ID)  

6. 先运行导出命令做出一个文本文件  

EXPORT TO D:STAFF.TXT OF DEL SELECT * FROM STAFF  到D盘上打开STAFF.TXT文件,把第一列等于320的行替换为:"abcf","aaa","sdfg"  

7. 然后运行load命令把数据再装入到STAFF1表中  

LOAD FROM D:STAFF.TXT OF DEL MODIFIED BY DUMPFILE=d:dump INSERT INTO STAFF1 FOR EXCEPTION STAFFEXP  

装入的结果报告中会有如下一条:  SQL3118W 在行 "32" 列 "1" 中的字段值不能转换为 SMALLINT 值,但是目标列不可为空。未装入该行。  

SQL3185W 当处理输入文件的第 "32" 行中的数据时发生先前的错误。


  打开D盘的dump.000文件,会看到造成异常的那一行数据:"abcf","aaa","sdfg"  

通过这个例子,我们可以理解,假如一行数据的格式不正确,在load的时候会遭到拒绝,该行记录会放到DUMP文件中而假如数据格式正确,但是不满足表的约束条件,该行记录会放到异常表中。  


例十五:限制装入行数  

用ROWCOUNT选项可以指定从文件开始处装入的记录数  

LOAD FROM D:STAFF.TXT OF DEL ROWCOUNT 3 INSERT INTO STAFF1  

例十六:出现警告信息时强令load操作失败  

在某些情况下,文件中的数据必须全部成功输入到目标表中才算成功,即使有一条记录出错也不行,在这种情况下,可以使用WARNINGCOUNT选项。  

到D盘上打开STAFF.TXT文件,把第一列等于320的行替换为:"abcf","aaa","sdfg"  

LOAD FROM D:STAFF.TXT OF DEL WARNINGCOUNT 1 INSERT INTO STAFF1  

运行结果包含下面的警告:  SQL3118W 在行 "32" 列 "1" 中的字段值不能转换为 SMALLINT值,但是目标列不可为空。未装入该行。  

SQL3185W 当处理输入文件的第 "32" 行中的数据时发生先前的错误。  

SQL3502N 实用程序碰到了 "1" 个警告,它超过了答应的最大警告数。  

此时无法对表STAFF1进行操作,例如  SELECT * FROM STAFF1  会返回:  ID   NAME   DEPT  JOB  YEARS SALARY  COMM  ------ --------- ------ ----- ------ --------- ---------  SQL0668N 由于表 "USER.STAFF1" 上的原因代码 "3",所以不答应操作。  SQLSTATE=57016


  原因是:表处于“load挂起(Load Pending)”状态。对此表的先前的 LOAD 尝试失败。在重新启动或终止 LOAD 操作之前不答应对表进行存取。  

解决方法:通过分别发出带有 RESTART 或 TERMINATER 选项的 LOAD 来重新启动或终止先前失败的对此表的 LOAD 操作。  

包含TERMINATER的LOAD命令可以终止装入进程,使目标表恢复正常可用状态:  

LOAD FROM D:STAFF.TXT OF DEL TERMINATE INTO STAFF1  

包含RESTART的LOAD命令可以在源文件修改正确的时候使用,使装入进程重新开始:  

LOAD FROM D:STAFF.TXT OF DEL RESTART INTO STAFF1  

例十七:防止产生警告信息  

使用NOROWWARNINGS文件类型修饰符可以禁止产生警告信息,当装入过程可能出现大量警告信息,而用户对此又不感爱好的时候,可以使用该选项,这样可以大大提高装入的效率  

到D盘上打开STAFF.TXT文件,把第一列等于320的行替换为:"abcf","aaa","sdfg"  

LOAD FROM D:STAFF.TXT OF DEL MODIFIED BY NOROWWARNINGS INSERT INTO STAFF1  

运行完的结果中,第32行出错,该行无法装入,但是不产生警告信息。  

例十八:生成统计数据  

使用STATISTICS选项可以在装入的过程中生成统计数据,这些统计数据可以供优化器确定最有效的执行SQL语句的方式。  

可以对表和索引产生不同具体程度的统计数据:  

① 对表和索引产生最具体的统计数据:  

LOAD FROM D:STAFF.TXT OF DEL REPLACE INTO STAFF1 STATISTICS YES WITH DISTRIBUTION AND DETAILED INDEXES ALL  

② 对表和索引都产生简略的统计:  

LOAD FROM D:STAFF.TXT OF DEL REPLACE INTO STAFF1 STATISTICS YES AND INDEXES ALL


  其它组合可以参考DB2文档。  

注重:STATISTICS选项只能和REPLACE兼容,与INSERT选项不兼容。  另外,通过STATISTICS选项做完统计,我们看不到任何直接的结果,假如想查看其结果,需要到系统表中自己查询。  

例十九:解除检查挂起状态  

1. 连接到SAMPLE数据库上:  Connect to sample  

2. 创建一个结构与staff表相同的表:  CREATE TABLE STAFF1 LIKE STAFF  

3. 给该表添加一个检查约束:  alter table staff1 add constraint chk check(dept<100)  

4. 到D盘上打开STAFF.TXT文件,把最后一行数据的第三列改为150,这样该条数据就不满足第3步加上的检查约束条件了,然后用Load命令从文件中装入数据到staff1表中:  LOAD FROM D:STAFF.TXT OF DEL INSERT INTO STAFF1  

5. 此时运行查询命令:  Select * from staff1  

会得到错误信息:  SQL0668N 由于表 "USER.STAFF1" 上的原因代码 "1",所以不答应操作。SQLSTATE=57016  

原因是装入时有数据违反了检查约束,造成表处于检查挂起状态。  

6. 解除表的检查挂起状态,使用:  set integrity for staff1 check immediate unchecked  

再次运行查询命令:  Select * from staff1  发现表可以正常使用了,其中的违反检查规则的数据也存在。  

例二十:性能因素  

在从文件向表import数据的时候,当数据量非凡大的情况下,load命令会明显体现出优势,原因是它不像import命令每次插入一行,并且在每行都要检查是否满足约束条件,load命令从输入文件读出数据构建页,把这些页直接写入数据库,并且在每一行数据装入时不判定是否满足约束,另外装入命令不写日志,所有这些因素都导致load的效率高于import。  

另外,load命令还有一些选项可以控制性能因素:  

1. COPY YES/NONonrecoverable  

① Nonrecoverable(不可恢复的):指定load操作不可恢复,并且不能由后续的前滚操作恢复。前滚操作忽略事务并且标记正在装入数据的表为“无效”。  

② Copy No(默认选项):在这种情况下,假如表所在数据库的归档日志处于启用状态,则装入完成后,表所在的表空间将处于备份挂起状态,直到数据库或表空间备份完毕,该表空间才成为可写表空间。原因是装入操作造成的变化没有被记录,所以要恢复装入操作完成后发生的故障,备份数据库或表空间是必要的。  

③ Copy Yes:在这种情况下,假如数据库的归档日志启用,装入操作的改变将被保存到磁带、目录或TSM服务器,并且表空间将不再处于备份挂起状态。  

2. Fastparse  该文件类型修饰符用于减少数据检查次数;它只能用于在数据已知正确的情况下,尤其适用于DEL和ASC类型的文件。  

3. Anyorder  假如SAVECOUNT选项没有使用,该参数答应不遵照输入文件中的数据顺序进行装入,在SMP(对称多处理机)系统上CPU_PARALLELISM选项大于1的时候,该参数会提高装入的性能。  

4. Data Buffer  该参数用于指定从堆栈分配得到的4K大小的内存页面的数目,作为装入的内部缓冲区,指定一个大缓冲区有助于提高装入的性能。  

5. CPU_PARALLELISM  该选项只能用于SMP系统上,可以指示使用多少进程或线程解析、转换、格式化数据。  

6. Disk_Parallelism  该选项指定写数据到磁盘的进程或线程的数目。

0 0
原创粉丝点击