分区表数据快速迁移

来源：互联网发布：上证指数算法编辑：程序博客网时间：2024/06/09 17:56

http://jingyan.baidu.com/article/6f2f55a190579eb5b93e6ca5.html

使用交换分区的方式将普通表转化为分区表

以下介绍使用交换分区的方式将普通表转化为分区表的过程，这种方法只是对数据字典中分区和表的定义进行了修改，没有数据的修改或复制，效率最高。适用于将包含大数据量的普通表转到分区表中的一个分区的操作。尽量在闲时进行操作。

方法/步骤

交换分区的操作步骤如下：
1. 创建分区表，假设有2个分区，P1，P2.
2. 创建表A存放P1规则的数据。
3. 创建表B 存放P2规则的数据。
4. 用表A 和P1 分区交换。把表A的数据放到到P1分区
5. 用表B 和p2 分区交换。把表B的数据存放到P2分区。
创建分区表：
create table p_dba
(id number,time date)
partition by range(time)
(
partition p1 values less than (to_date('2010-09-1', 'yyyy-mm-dd')),
partition p2 values less than (to_date('2010-11-1', 'yyyy-mm-dd'))
);
创建2个分别对应分区的基表：
CREATE TABLE dba_p1 as SELECT id,time_fee FROM dba_old WHERE time_fee<TO_DATE('2010-09-1', 'YYYY-MM-DD');
CREATE TABLE dba_p2 as SELECT id,time_fee FROM dba_old WHERE time_fee<TO_DATE('2010-11-1', 'YYYY-MM-DD') and time_fee>TO_DATE('2010-09-1', 'YYYY-MM-DD');
select count(*) from dba_p1;
select count(*) from dba_p2;
将基表与2个分区进行交换：
alter table p_dba exchange partition p1 with table dba_p1;
alter table p_dba exchange partition p2 with table dba_p2;
查询2个分区：
select count(*) from p_dba partition(p1);
select count(*) from p_dba partition(p2);
注意：数据和之前的基表一致。
查询原来的2个基表：
select count(*) from dba_p2;
select count(*) from dba_p1;
注意： 2个基表的数据变成成0。

1.查看分区表的信息。

SELECT t.BYTES / (1024 * 1024),t.* FROM user_segments t WHERE t.segment_name ='OM_EV_CELL_TAXES_MONTH';

查看分区的信息，大小。

2.创建新表，福权限。

create table OM_EV_CELL_TAXES_MONTH_BAK as select * from OM_EV_CELL_TAXES_MONTH where 1=2;

grant all on OM_EV_CELL_TAXES_MONTH to ODSC_CENT;

3.数据块指针转移交换

alter table OM_EV_CELL_TAXES_MONTH exchange partition PART_CELL_TAXES_201407 with table odsc_iozh.OM_EV_CELL_TAXES_MONTH_BAK ;

*将表分区所拥有数据的实际物理存储空间段相互交换，这是指针级的操作.

4.简单的检查结果

select count(*) from Om_Ev_Cell_Taxes_Month partition(PART_CELL_TAXES_201407); --单一分分区的数目

select count(*) from OM_EV_CELL_TAXES_MONTH_BAK ;

5.错误出来

首先就是权限要够。

ORA-14094: invalid ALTER TABLE EXCHANGE PARTITION option 分区表之间不能快速迁移，只能够分区表和普通表之间。

ora-01950:对表空间XXX无权限因为我是跨表空间，所以不同的表拥有者在其他表里面是没有配额的。

alter user username quota umlimited on tablespacename; or grant resource to username;

这几周DW部分common表刷新速度很慢，经分析是数据量过大，这两天都在想优化的方式，定下来从分区入手。
目前ODS通过kettle同步过来的数据都是非分区的，部分大表都在2亿以上，分区迫在眉睫。
先是从我常用的一个common表入手，之前计划对常用的字段如状态、创建时间做list-range分区，但考虑到状态变化会导致分区键变化，后决定只使用创建时间做range分区，并且对已有的数据按照数据分布先生成部分分区，然后按照interval 1天或是7天自动创建分区。
表结构定义(15年之前同一分区，15年之后每月一个分区，16之后每7天一个分区)
CREATE TABLE TABLE_NAME
(C1 DATE,
C2 NUMBER,
…)
PARTITION BY RANGE(C1)
INTERVAL (NUMTODSINTERVAL(7,’DAY’))
(
PARTITION P2014 LESS THAN(TO_DATE(‘2015-01-01 00:00:00’,’YYYY-MM-DD HH24:MI:SS’)),
PARTITION P201501 LESS THAN(TO_DATE(‘2015-02-01 00:00:00’,’YYYY-MM-DD HH24:MI:SS’)),
…….
PARTITION P20151231 LESS THAN(TO_DATE(‘2016-01-01 00:00:00’,’YYYY-MM-DD HH24:MI:SS’)),
PARTITION P20160107 LESS THAN(TO_DATE(‘2016-01-01 00:00:00’,’YYYY-MM-DD HH24:MI:SS’))
);

表定义之后，就是数据迁移了，非分区表到分区表有多种方式，
在线方式主要通过dbms_redefinition实现
离线方式包括：
1.直接insert
2.exp/imp
3.exchange partition

我主要测了1、3两种方式，
其中第3种交换分区方式，我先建了分区表，只包含一个分区，并且自动分区定义是在数据交换后再单独定义，速度很快，但有两个问题
1.非分区交换到分区表，只能交换到一个目标分区中，所以还额外执行split partition，然后再定义自动增加分区
alter table table_name set interval (NUMTODSINTERVAL(7,’DAY’));
2.分区交换后，源表成空表，没有数据

由于迁表过程中，涉及到split部分会消耗一点时间，对应用有影响，所以放弃第3种方式，采用传统的先insert 到一个中间表（已分区），然后再重命名，创建索引等，校验数据后，drop源表

对于目前数据量较大的表，REPORT_AP_STAT_HOUR（2个月有1900万）,CLIENT_OFFLINE_HISTORY（2个月有4800万），如果保存超过一年数据将达数亿，对这种级别的数据索引优化已经达不到要求的（15秒之内完成查询），因此需要进行按月分表，使用ORACLE11G的新特性interval按月进行自动分表。

分区表建表语句如下：

Sql代码

CREATE TABLE CLIENT_OFFLINE_HISTORY_IN(
"CLIENT_OFFLINE_ID" NUMBER(20) NOT NULL ,
"AP_ID" NUMBER(20) NULL ,
CONSTRAINT "PK_CLIENT_INTERVAL" PRIMARY KEY ("CLIENT_OFFLINE_ID")
)PARTITION BY RANGE (CREATE_TIME)
INTERVAL ( NUMTOYMINTERVAL (1, 'MONTH') )
(PARTITION part1
VALUES LESS THAN (TO_DATE ('2013-08-01', 'yyyy-MM-dd')))

由于ORACLE不能直接将表修改为分区表，对于已经部署的系统需要先将分区表建立，然后将老表中的数据迁移至分区表。

普通表与分区表之间的数据迁移目前有三种方案：

（1）使用INSERT INTO SELECT 语句，速度较慢

Sql代码

INSERT INTO CLIENT_OFFLINE_HISTORY_IN SELECT * FROM CLIENT_OFFLINE_HISTORY

（2）使用expdp/impdp工具，速度较快

查看目录:

Sql代码

SELECT * FROM dba_directories;

创建dir dba权限:

Sql代码

CREATE DIRECTORY DPDATA AS '/home/oracle/dump';

执行导出语句

Sql代码

expdp wlan/wlan1o2o DUMPFILE=history.dmp TABLES=CLIENT_OFFLINE_HISTORY DIRECTORY=dpdata

执行导入语句

Sql代码

impdp wlan/wlan1o2o DIRECTORY=dpdata DUMPFILE=history.dmp TABLES=CLIENT_OFFLINE_HISTORY REMAP_TABLE=CLIENT_OFFLINE_HISTORY:CLIENT_OFFLINE_HISTORY_IN TABLE_EXISTS_ACTION=APPEND

（3）使用交换分区速度最快,原理迁移不做任何的IO操作只是更改数据字典，限制条件是普通表内数据必须符合分区中的一个分区

Sql代码

ALTER TABLE TEST_INTERVAL_PAR EXCHANGE PARTITION PART1 WITH TABLE TEST_INTERVAL WITHOUT VALIDATION;

具体使用的时候可以根据实际需要进行相应的迁移操作。

把非分区表改为分区表

个人分类：性能调优

--说明：把非分区表改为分区表适用于历史表

---1、创建分区表（结构和非分区表TBL_STOCK_BALANCE_LOG相同）

CREATE TABLE TBL_STOCK_BALANCE_LOG_PART1

(

ACCOUNT_ID VARCHAR2(20 BYTE),

OCCUR_DATE DATE,

BRANCH_ID NUMBER(10),

MONEY_TYPE VARCHAR2(10 BYTE),

MONEY_TYPE_NAME VARCHAR2(20 BYTE),

MARKET_CODE VARCHAR2(10 BYTE),

MARKET_NAME VARCHAR2(30 BYTE),

STOCK_CODE VARCHAR2(10 BYTE),

STOCK_NAME VARCHAR2(60 BYTE),

STOCK_TYPE_CODE VARCHAR2(40 BYTE),

STOCK_TYPE_NAME VARCHAR2(60 BYTE),

QTY NUMBER(18),

STOCKVALUE NUMBER(18,4),

INDUST_NUM VARCHAR2(20 BYTE),

CLOSE_PRICE NUMBER(18,4),

ASSET_ACCT NUMBER(18,4),

REFER_COST NUMBER(18,4),

REFER_BREAK NUMBER(18,4),

REFER_BREAK_RA NUMBER(18,4),

INDUST_ID VARCHAR2(20 BYTE),

DEPTID VARCHAR2(10 BYTE)

)

Partition by range (OCCUR_DATE)

(

partition p_other values less than (maxvalue)

);

---2、交换数据（数据从非分区表到分区表）

alter table TBL_STOCK_BALANCE_LOG_PART1 exchange partition p_other with table TBL_STOCK_BALANCE_LOG;

---SELECT * FROM TBL_STOCK_BALANCE_LOG_PART1;

---3、查询分区表数据

select to_char(OCCUR_DATE, 'YYYY-MM'), count(*) from TBL_STOCK_BALANCE_LOG_PART1 group by to_char(OCCUR_DATE, 'YYYY-MM');

---辅助脚本

select

'alter table TBL_STOCK_BALANCE_LOG_PART1 split partition p_other at (to_date('''||to_char(OCCUR_DATE,'yyyy-mm')||''',''yyyy-mm'')) into (partition p'||to_char(OCCUR_DATE,'yyyymm')|| ',partition p_other);'

from TBL_STOCK_BALANCE_LOG_PART1

group by to_char(OCCUR_DATE,'yyyy-mm'),to_char(OCCUR_DATE,'yyyymm')

order by to_char(OCCUR_DATE,'yyyymm')

---执行脚本生成语句

alter table TBL_STOCK_BALANCE_LOG_PART1 split partition p_other at (to_date('2011-08','yyyy-mm'))

into (partition p201108,partition p_other);

alter table TBL_STOCK_BALANCE_LOG_PART1 split partition p_other at (to_date('2011-09','yyyy-mm'))

into (partition p201109,partition p_other);

---4、删除非分区表

DROP TABLE TBL_STOCK_BALANCE_LOG PURGE;

---5、将分区表重命名为原分区表名

ALTER TABLE TBL_STOCK_BALANCE_LOG_PART1 RENAME TO TBL_STOCK_BALANCE_LOG;

---6、测试

select table_name, partition_name from user_tab_partitions where table_name = 'TBL_STOCK_BALANCE_LOG';

select COUNT(*) from TBL_STOCK_BALANCE_LOG partition(P201109)

https://zhidao.baidu.com/question/1303724381167687779.html

在一个高可用系统中，如果需要改变一个表的定义是一件比较棘手的问题，尤其是对于7×24系统。Oracle提供的基本语法基本可以满足一般性修改，但是对于把普通堆表改为分区表，把索引组织表修改为堆表等操作就无法完成了。而且，对于被大量DML语句访问的表，幸运的是，Oracle从9i版本开始提供了在线重定义表功能，通过调用DBMS_REDEFINITION包，可以在修改表结构的同时允许DML操作。

在线重定义表具有以下功能：

修改表的存储参数；

可以将表转移到其他表空间；

增加并行查询选项；

增加或删除分区；

重建表以减少碎片；

将堆表改为索引组织表或相反的操作；

增加或删除一个列。

调用DBMS_REDEFINITION包需要EXECUTE_CATALOG_ROLE角色，除此之外，还需要CREATE ANY TABLE、ALTER ANY TABLE、DROP ANY TABLE、LOCK ANY TABLE和SELECT ANY TABLE的权限。

在线重定义表的步骤如下：

1.选择一种重定义方法：

存在两种重定义方法，一种是基于主键、另一种是基于ROWID。ROWID的方式不能用于索引组织表，而且重定义后会存在隐藏列M_ROW$$。默认采用主键的方式。

2.调用DBMS_REDEFINITION.CAN_REDEF_TABLE()过程，如果表不满足重定义的条件，将会报错并给出原因。

3.在用一个方案中建立一个空的中间表，根据重定义后你期望得到的结构建立中间表。比如：采用分区表，增加了COLUMN等。

4.调用DBMS_REDEFINITION.START_REDEF_TABLE()过程，并提供下列参数：被重定义的表的名称、中间表的名称、列的映射规则、重定义方法。

如果映射方法没有提供，则认为所有包括在中间表中的列用于表的重定义。如果给出了映射方法，则只考虑映射方法中给出的列。如果没有给出重定义方法，则认为使用主键方式。

5.在中间表上建立触发器、索引和约束，并进行相应的授权。任何包含中间表的完整性约束应将状态置为disabled。

当重定义完成时，中间表上建立的触发器、索引、约束和授权将替换重定义表上的触发器、索引、约束和授权。中间表上disabled的约束将在重定义表上enable。

6.（可选）如果在执行DBMS_REDEFINITION.START_REDEF_TABLE()过程和执行DBMS_REDEFINITION.FINISH_REDEF_TABLE()过程直接在重定义表上执行了大量的DML操作，那么可以选择执行一次或多次的SYNC_INTERIM_TABLE()过程，以减少最后一步执行FINISH_REDEF_TABLE()过程时的锁定时间。

7.执行DBMS_REDEFINITION.FINISH_REDEF_TABLE()过程完成表的重定义。这个过程中，原始表会被独占模式锁定一小段时间，具体时间和表的数据量有关。

执行完FINISH_REDEF_TABLE()过程后，原始表重定义后具有了中间表的属性、索引、约束、授权和触发器。中间表上disabled的约束在原始表上处于enabled状态。

8.（可选）可以重命名索引、触发器和约束。对于采用了ROWID方式重定义的表，包括了一个隐含列M_ROW$$。推荐使用下列语句经隐含列置为UNUSED状态或删除。

ALTER TABLE TABLE_NAME SET UNUSED (M_ROW$$);

ALTER TABLE TABLE_NAME DROP UNUSED COLUMNS;

下面是进行重定义操作后的结果：

原始表根据中间表的属性和特性进行重定义；

START_REDEF_TABLE()和FINISH_REDEF_TABLE()操作之间在中间表上建立的触发器、索引、约束和授权，现在定义在原始表上。中间表上disabled的约束在原始表上处于enabled状态。

原始表上定义的触发器、索引、约束和授权建立在中间表上，并会在删除中间表时删除。原始表上原来enabled状态的索引，建立在中间表上，并处于disabled状态。

任何定义在原始表上的存储过程和游标都会变为INVALID，当下次调用时后自动进行编译。

如果执行过程中出现错误或者人为选择退出的话，可以执行DBMS_REDEFINITION.ABORT_REDEF_TABLE()过程。

其中UNAME 参数是指用户；

Oracle的普通表没有办法通过修改属性的方式直接转化为分区表，必须通过重建的方式进行转变，下面介绍三种效率比较高的方法，并说明它们各自的特点。

方法一：利用原表重建分区表

步骤：

SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);

表已创建。

SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS;

已创建6264行。

SQL> COMMIT;

提交完成。

SQL> CREATE TABLE T_NEW (ID, TIME) PARTITION BY RANGE (TIME)

(PARTITION P1 VALUES LESS THAN (TO_DATE('2004-7-1', 'YYYY-MM-DD')),

PARTITION P2 VALUES LESS THAN (TO_DATE('2005-1-1', 'YYYY-MM-DD')),

 PARTITION P3 VALUES LESS THAN (TO_DATE('2005-7-1', 'YYYY-MM-DD')),

PARTITION P4 VALUES LESS THAN (MAXVALUE))

 AS SELECT ID, TIME FROM T;

表已创建。

SQL> RENAME T TO T_OLD;

表已重命名。

SQL> RENAME T_NEW TO T;

表已重命名。

SQL> SELECT COUNT(*) FROM T;

COUNT(*)

----------

6264

SQL> SELECT COUNT(*) FROM T PARTITION (P1);

COUNT(*)

----------

0

SQL> SELECT COUNT(*) FROM T PARTITION (P2);

COUNT(*)

----------

6246

SQL> SELECT COUNT(*) FROM T PARTITION (P3);

COUNT(*)

----------

18

优点：

方法简单易用，由于采用DDL语句，不会产生UNDO，且只产生少量REDO，效率相对较高，而且建表完成后数据已经在分布到各个分区中了。

不足：

对于数据的一致性方面还需要额外的考虑。由于几乎没有办法通过手工锁定T表的方式保证一致性，在执行CREATE TABLE语句和RENAME T_NEW TO T语句直接的修改可能会丢失，如果要保证一致性，需要在执行完语句后对数据进行检查，而这个代价是比较大的。另外在执行两个RENAME语句之间执行的对T的访问会失败。

适用于修改不频繁的表，在闲时进行操作，表的数据量不宜太大。

方法二：使用交换分区的方法

步骤：

SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);

表已创建。

SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS;

已创建6264行。

SQL> COMMIT;

提交完成。

SQL> CREATE TABLE T_NEW (ID NUMBER PRIMARY KEY, TIME DATE) PARTITION BY RANGE (TIME)

2 (PARTITION P1 VALUES LESS THAN (TO_DATE('2005-7-1', 'YYYY-MM-DD')),

3 PARTITION P2 VALUES LESS THAN (MAXVALUE));

表已创建。

SQL> ALTER TABLE T_NEW EXCHANGE PARTITION P1 WITH TABLE T;

表已更改。

SQL> RENAME T TO T_OLD;

表已重命名。

SQL> RENAME T_NEW TO T;

表已重命名。

SQL> SELECT COUNT(*) FROM T;

COUNT(*)

----------

6264

优点：

只是对数据字典中分区和表的定义进行了修改，没有数据的修改或复制，效率最高。如果对数据在分区中的分布没有进一步要求的话，实现比较简单。在执行完RENAME操作后，可以检查T_OLD中是否存在数据，如果存在的话，直接将这些数据插入到T中，可以保证对T插入的操作不会丢失。

不足：

仍然存在一致性问题，交换分区之后RENAME T_NEW TO T之前，查询、更新和删除会出现错误或访问不到数据。如果要求数据分布到多个分区中，则需要进行分区的SPLIT操作，会增加操作的复杂度，效率也会降低。

适用于包含大数据量的表转到分区表中的一个分区的操作。应尽量在闲时进行操作。

方法三：Oracle9i以上版本，利用在线重定义功能

步骤：

SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE);

表已创建。

SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS;

已创建6264行。

SQL> COMMIT;

提交完成。

SQL> EXEC DBMS_REDEFINITION.CAN_REDEF_TABLE(USER’, 'T', DBMS_REDEFINITION.CONS_USE_PK);

PL/SQL 过程已成功完成。

SQL> CREATE TABLE T_NEW (ID NUMBER PRIMARY KEY, TIME DATE) PARTITION BY RANGE (TIME)

2 (PARTITION P1 VALUES LESS THAN (TO_DATE('2004-7-1', 'YYYY-MM-DD')),

3 PARTITION P2 VALUES LESS THAN (TO_DATE('2005-1-1', 'YYYY-MM-DD')),

4 PARTITION P3 VALUES LESS THAN (TO_DATE('2005-7-1', 'YYYY-MM-DD')),

5 PARTITION P4 VALUES LESS THAN (MAXVALUE));

表已创建。

SQL> EXEC DBMS_REDEFINITION.START_REDEF_TABLE(‘USER’, 'T', 'T_NEW', -

> 'ID ID, TIME TIME', DBMS_REDEFINITION.CONS_USE_PK);

可以改为：

SQL> EXEC DBMS_REDEFINITION.START_REDEF_TABLE(‘USER’, 'T', 'T_NEW')

PL/SQL 过程已成功完成。

SQL> EXEC dbms_redefinition.sync_interim_table(‘USER’, 'T', 'T_NEW')

现在，将中间表与原始表同步。（仅当要对表 T 进行更新时才需要执行该操作。）

SQL> EXEC DBMS_REDEFINITION.FINISH_REDEF_TABLE(USER’, 'T', 'T_NEW');

PL/SQL 过程已成功完成。

如果重组织失败，那么你就必须采取特殊的步骤来让它重新开始。由于重定义过程需要创建表格的快照，因此为了重新开始这一过程，你必须调用DBMS_REDEFINITION.ABORT_REDEF_TABLE来释放快照。　　

DBMS_REDEFINITION.ABORT_REDEF_TABLE过程有三个参数，即用户（schema）、原始表格（original table name）名称以及持有表格名称（holding table name）。它“出栈”并允许你开始重组织表格。

SQL> SELECT COUNT(*) FROM T;

SQL> SELECT COUNT(*) FROM T PARTITION (P2);

SQL> SELECT COUNT(*) FROM T PARTITION (P3);

需要说明的是完成后，原表和中间表的结构也同时进行了交换，并且中间表里面有原表的数据备份。

优点：

保证数据的一致性，在大部分时间内，表T都可以正常进行DML操作。只在切换的瞬间锁表，具有很高的可用性。这种方法具有很强的灵活性，对各种不同的需要都能满足。而且，可以在切换前进行相应的授权并建立各种约束，可以做到切换完成后不再需要任何额外的管理操作。

不足：实现上比上面两种略显复杂,适用于各种情况。

然而，在线表格重定义也不是完美无缺的。下面列出了Oracle9i重定义过程的部分限制:

你必须有足以维护两份表格拷贝的空间。 　　

你不能更改主键栏。 　　

表格必须有主键。 　　

必须在同一个大纲中进行表格重定义。 　　

在重定义操作完成之前，你不能对新加栏加以NOT NULL约束。 　　

表格不能包含LONG、BFILE以及用户类型（UDT）。 　　

不能重定义链表（clustered tables）。 　　

不能在SYS和SYSTEM大纲中重定义表格。 　　

不能用具体化视图日志（materialized view logs）来重定义表格；不能重定义含有具体化视图的表格。 　　

不能在重定义过程中进行横向分集（horizontal subsetting）。

阅读全文

0 0