收集MYSQL与Oracle如何处理重复数据的SQL
来源:互联网 发布:男士休闲鞋淘宝 编辑:程序博客网 时间:2024/04/29 21:11
Oracle与MySQL数据重复问题的SQL
可以说,这个数据重复,不管在开发、数据维护和经历面试时,都应该会碰到的常见问题了!在此,本人也是特意关注了网上一些文章,并收集整理在一块,供大家参考学习,同时也便于自己日后的复习!
Oracle中的重复数据处理
如何查询重复的数据
select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1
PS:将上面的>号改为=号就可以查询出没有重复的数据了。
Oracle删除重复数据的SQL(删除所有):
删除重复数据的基本结构写法:
想要删除这些重复的数据,可以使用下面语句进行删除
delete from 表名 a where 字段1,字段2 in
(select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)
上面的SQL注意:语句非常简单,就是将查询到的数据删除掉。不过这种删除执行的效率非常低,对于大数据量来说,可能会将数据库吊死。
建议先将查询到的重复的数据插入到一个临时表中,然后对进行删除,这样,执行删除的时候就不用再进行一次查询了。如下:
CREATE TABLE 临时表 AS (select 字段1,字段2,count(*) from 表名 group by 字段1,字段2 having count(*) > 1)
上面这句话就是建立了临时表,并将查询到的数据插入其中。
下面就可以进行这样的删除操作了:
delete from 表名 a where 字段1,字段2 in (select 字段1,字段2 from 临时表);
Oracle删除重复数据的SQL(留下一条记录):
oracle中,有个隐藏了自动rowid,里面给每条记录一个唯一的rowid,我们如果想保留最新的一条记录,我们就可以利用这个字段,保留重复数据中rowid最大的一条记录就可以了。
使用ROWID查询重复数据:
select a.rowid,a.* from 表名 a
where a.rowid !=
(select max(b.rowid) from 表名 b
where a.字段1 = b.字段1 and
a.字段2 = b.字段2 )
括号中的SQL查询出rowid最大的记录,而外面就是查询出除了rowid最大之外的其他重复的数据了。
由此,我们要删除重复数据,只保留最新的一条数据,就可以这样写了:
删除重复数据(留下最大ROWID的一条)
delete from 表名 a where a.rowid !=
(select max(b.rowid) from 表名 b
where a.字段1 = b.字段1 and
a.字段2 = b.字段2 )
删除重复数据(留下最小ROWID的一条)
delete tab t where t.rowid > (
select min(t2.rowid) from tab t2 where t.col2 = t2.col2 and t.col8 = t2.col8
)
当然,上面语句的执行效率是很低的,可以考虑建立临时表,讲需要判断重复的字段、rowid插入临时表中,然后删除的时候在进行比较。
create table 临时表 as select a.字段1,a.字段2,MAX(a.ROWID) dataid from 正式表 a GROUP BY a.字段1,a.字段2;
delete from 表名 a
where a.rowid !=
(select b.dataid from 临时表 b
where a.字段1 = b.字段1 and
a.字段2 = b.字段2 );
commit;
对于完全重复记录的删除
对于表中两行记录完全一样的情况,可以用下面语句获取到去掉重复数据后的记录:
select distinct * from 表名
可以将查询的记录放到临时表中,然后再将原来的表记录删除,最后将临时表的数据导回原来的表中。如下:
CREATE TABLE 临时表 AS (select distinct * from 表名);
drop table 正式表;
insert into 正式表 (select * from 临时表);
drop table 临时表;
如果想删除一个表的重复数据,可以先建一个临时表,将去掉重复数据后的数据导入到临时表,然后在从临时表将数据导入正式表中,如下:
INSERT INTO t_table_bak
select distinct * from t_table;
MySQL查询及删除重复记录的方法
查询及删除重复记录的方法(例子演示)
1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断
select * from table where tableId in (select tableId from table group by tableId having count(tableId) > 1)
2、删除表中多余的重复记录,重复记录是根据单个字段(tableId)来判断,只留有rowid最小的记录。
delete from table where tableId in (select tableId from table group by tableId having count(tableId) > 1) and rowid not in (select min(rowid) from table group by tableId having count(tableId )>1)
3、查找表中多余的重复记录(多个字段)
select * from vitae a where (a.tableId,a.seq) in (select tableId,seq from vitae group by tableId,seq having count(*) > 1)
4、删除表中多余的重复记录(多个字段),只留有rowid最小的记录
delete from vitae a where (a.tableId,a.seq) in (select tableId,seq from vitae group by tableId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by tableId,seq having count(*)>1)
5、查找表中多余的重复记录(多个字段),不包含rowid最小的记录
select * from vitae a where (a.tableId,a.seq) in (select tableId,seq from vitae group by tableId,seq having count(*) > 1) and rowid not in (select min(rowid) from vitae group by tableId,seq having count(*)>1)
6、查询出一个表中,某一列的值是相同的SQL:
比方说
在A表中存在一个字段“name”,而且不同记录之间的“name”值有可能会相同,
现在就是需要查询出在该表中的各记录之间,“name”值存在重复的项;
Select Name,Count(*) From A Group By Name Having Count(*) > 1
如果还查性别也相同大则如下:
Select Name,sex,Count(*) From A Group By Name,sex Having Count(*) > 1
- 收集MYSQL与Oracle如何处理重复数据的SQL
- MYSQL与Oracle如何处理重复数据的SQL
- mysql中重复数据的处理及sql注入
- SQL处理重复数据
- MySQL 处理重复数据
- mysql 处理重复数据
- MySQL 处理重复数据
- MySQL 处理重复数据
- MySQL 处理重复数据
- MySQL 处理重复数据
- mysql处理重复数据
- MySQL 处理重复数据
- oracle mysql 重复主键的处理测试
- oracle去重复数据的处理方法
- 关于Oracle中重复数据的处理
- sql对重复数据的处理
- mysql 重复数据,求和过滤的处理
- 全面的MySQL处理重复数据代码
- Andorid 内存泄露与 Eclipse Memory Analyzer
- Unity3D 游戏引擎之FBX模型的载入与人物行走动画的播放(十二)
- android 单元测试Test run failed: Test run failed to complete. Expected 1 tests, received 0
- c# 读数据库利用模板书签写word文件
- org.hibernate.Criteria完整用法(一)
- 收集MYSQL与Oracle如何处理重复数据的SQL
- esri shapefile转PDF
- System.load和System.loadLibrary
- 用泛型实现人民币转换
- 死锁方面的知识
- java基础知识06
- url标签以及国际化标签
- java基础知识07
- idea 碎碎念