Oracle删除表中重复数据

Oracle

删除表中重复数据

   

 

我们可能会出现这种情况，某个表原来设计不周全，导致表里面的数据数据

重复，那么，如何对重复的数据进行删除呢？

 

        

     

重复的数据可能有这样两种情况，第一种时表中只有某些字段一样，第

二种是两行记录完全一样。

 

一、对于部分字段重复数据的删除

 

        

先来谈谈如何查询重复的数据吧。

 

        

下面语句可以查询出那些数据是重复的：

 

select 

字段

1,

字段

2,count(*) 

from 

表名

 

group 

by 

字段

1,

字段

2 

having 

count(*) > 1 

        

将上面的

>

号改为

=

号就可以查询出没有重复的数据了。

 

        

想要删除这些重复的数据，

 

可以使用下面语句进行删除

 

delete from 

表名

 

a where 

字段

1,

字段

2 in 

    

(select 

字段

1,

字段

2,count(*) 

from 

表名

 

group 

by 

字段

1,

字段

2 

having count(*) > 1) 

        

上面的语句非常简单，就是将查询到的数据删除掉。不过这种删除执

行的效率非常低，对于大数据量来说，可能会将数据库吊死。所以我建议先将查

询到的重复的数据插入到一个临时表中，然后对进行删除，这样，执行删除的时

候就不用再进行一次查询了。如下：

 

CREATE TABLE 

临时表

 

AS 

(select 

字段

1,

字段

2,count(*) 

from 

表名

 

group 

by 

字段

1,

字段

2 

having 

count(*) > 1) 

        

上面这句话就是建立了临时表，

 

 

并将查询到的数据插入其中。

 

        

下面就可以进行这样的删除操作了：

 

delete from 

表名

 

a where 

字段

1,

字段

2 in (select 

字段

1

，

字段

2 from 

临

时表

); 

        

这种先建临时表再进行删除的操作要比直接用一条语句进行删除要高

效得多。

 

       

这个时候，大家可能会跳出来说，什么？你叫我们执行这种语句，那

不是把所有重复的全都删除吗？而我们想保留重复数据中最新的一条记录啊！

大家不要急，下面我就讲一下如何进行这种操作。

 

       

在

oracle

中，有个隐藏了自动

rowid

，里面给每条记录一个唯一的

rowid

，

*8tHV*T&

管业专

A}x

我们如果想保留最新的一条记录，

jmK\10u=

教

` 

我们就可以利用这个字段，保留重复数据中

rowid

最大的一条记录就可以

了。

 

       

下面是查询重复数据的一个例子：

 

select a.rowid,a.* from 

表名

 

a 

 

where a.rowid != 

 

( 

   

select max(b.rowid) from 

表名

 

b 

 

   

where a.

字段

1 = b.

字段

1 and 

 

   

a.

字段

2 = b.

字段

2 

 

) 

       

下面我就来讲解一下，

1("T0JI=3

网

aC

上面括号中的语句是查询出重

复数据中

rowid

最大的一条记录。

 

       

而外面就是查询出除了

rowid

最大之外的其他重复的数据了。

 

       

由此，我们要删除重复数据，只保留最新的一条数据，就可以这样写

了：

 

delete from 

表名

 

a 

 

where a.rowid != 

 

( 

   

select max(b.rowid) from 

表名

 

b 

 

   

where a.

字段

1 = b.

字段

1 and 

 

   

a.

字段

2 = b.

字段

2 

 

) 

       

随便说一下，上面语句的执行效率是很低的，可以考虑建立临时表，

讲需要判断重复的字段、

rowid

插入临时表中，然后删除的时候在进行比较。

 

create table 

临时表

 

as 

 

    

select a.

字段

1,a.

字段

2,MAX(a.ROWID) dataid from 

正式表

 

a GROUP 

BY a.

字段

1,a.

字段

2; 

delete from 

表名

 

a 

 

where a.rowid != 

 

( 

   

select b.dataid from 

临时表

 

b 

 

   

where a.

字段

1 = b.

字段

1 and 

 

   

a.

字段

2 = b.

字段

2 

 

); 

commit; 

Delete from 

表

a 

where a.rowid not in 

( select distinct 

临时表

b.dataid

《

－新增临时表给

rowid

取的列名》

 

from 

临

时表

b,test 

where 

临时表

b.id = 

表

a.id and 

临时表

b.name = test.name 

) 

二、对于完全重复记录的删除

 

        

对于表中两行记录完全一样的情况，可以用下面语句获取到去掉重复

数据后的记录：

 

select distinct * from 

表名

 

可以将查询的记录放到临时表中，然后再将原来的表记录删除，最后将临时

表的数据导回原来的表中。如下：

 

CREATE TABLE 

临时表

 

AS (select distinct * from 

表名

); 

drop table 

正式表

; 

insert into 

正式表

 

(select * from 

临时表

); 

drop table 

临时表

; 

      

如果想删除一个表的重复数据，可以先建一个临时表，将去掉重复数据

后的数据导入到临时表，然后在从

 

临时表将数据导入正式表中，如下：

 

INSERT INTO t_table_bak 

select distinct * from t_table; 

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

＝＝＝＝＝＝＝＝＝＝＝＝＝

 

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

＝＝＝＝＝＝＝＝＝＝＝＝＝

 

删除重复数据总的分

2

种：

 

a

。删除完全重复列的数据；

b

。删除不完全重复列的数据。

 

1

。删除完全重复列的数据；

 

这相对简单，创建一张新表

(create table as (select distinct * from 

原表

))

，

删除原来的表（

Drop table 

原表），把新表名字重命名。

 

2

。删除不完全重复列的数据；

 

   

这又分为重复记录保留

1

条，或不保留。

 

案例

 

新建表

test

。

 

create table test 

(id number, 

name varchar2(20) 

); 

select * from test; 

 

test

表列重复的数据全部删除

 

新建临时表

test2 

create table test2 as 

(select 

name,id,count(*) 

shuliang 

from 

test 

group 

by 

name,id 

having 

count(*)>1); 

--shuliang

为

count(*)

的定义的列名。

 

select * from test2; 

 

删除所有重复数据

 

delete from test where (id,name) in 

)(select id,name from test2 ) 

test

表列重复的数据删除仅保留一条

 

新建临时表

test3 

create table test3 as 

(select id ,name,max(rouwid) dataid from test 

 

group by id,name ); 

select * from test3; 

 

删除

test

表重复数据，重复数据保留一条

 

delete from test where test.rowid not in 

(select 

distinct 

test3.dataid 

from 

test3,test 

where 

test3.id=test.id 

and 

test3.name=test.name ); 

或

 

delete from test where test.rowid not in 

(select dataid from test3