数据库数据去重
来源:互联网 发布:php聊天室源码 编辑:程序博客网 时间:2024/04/27 17:29
假设现在数据库中有一个人员表(user),表中包括 主键ID,,姓名、身份证号码、等字段。由于程序的的原因、好来发现表中有许多理论上重复的数据(即姓名、和身份证号相同的数据),现在要求根据身份证号码和姓名去除表中的重复数据。
该怎么做呢,这里有一个方案可以参考一下:
select min(id) as id,name,cardId from User group by name,cardId ;
通过上面的这条Sql语句即可得到一份没有重复姓名和身份证号的一组数据,当然只等得到Id、姓名、和身份证号,其实我们真正想要的只有Id一列而已。因为我们只要得到没有重复数据的id就可以找出所有的并且不重复的数据了。
接下类我们使用嵌套的查询 得到所有的不重复数据的Id
select id from (select min(id) as id,name,cardId from User group by name,cardId ) as a
得到我们需要的ID之后我们可以有好几种选择:1、使用 not IN 删除所有Id不在以上查出的Id范围的数据。即删除重复的数据
delete form user where id not in (select id from (select min(id) as id,name,cardId from User group by name,cardId ) as a);
使用not in 非常耗费数据库资源,并且 如果数据量大的话,会非常的慢,可能会慢的难以忍受,因此不建议使用。
除了可以使用 Not In 之外还可以使用临时表的方法:
1、找出所有不重复的数据
select * into #temp1 from user where id in (select id from (select min(id) as id,name,cardId from User group by name,cardId ) as a);
2,删除原表中的所有数据
delete from user;
3、将临时表中的数据在插入会user表
insert into user select * from #temp1;
4,删除临时表
drop table #temp1;
万事开头难,只要能想到,通过group by在每组取一个id,接下来就是水到渠成的事了
- 数据库数据去重
- 数据库数据去重方法
- 数据库数据去重方法
- 数据库数据去重方法
- 数据库SQL去重,保留一条数据
- MySql数据库:数据查重、去重的实现
- Oracle数据库中重复数据删除方法:部分去重+完全去重
- Oracle数据库中重复数据删除方法:部分去重+完全去重
- 数据库去重
- 数据库去重问题
- oracle数据库去重
- 数据库去重
- mysql数据库去重
- 数据库去重
- 数据库去重
- 数据库去重
- 数据库去重
- Mongodb数据库去重
- 面试题4 替换空格
- 滑轮控件研究二、GestureDetector的深入研究
- codeforces 453B Little Pony and Harmony Chest (离散化+dp状态压缩)
- 关于UDP接收icmp端口不可达(port unreachable)
- Android源码目录结构详解
- 数据库数据去重
- mochijson2 接口使用
- java代码生成器
- Linux内核中使用红黑树的扩展特性实现区间树(Interval tree)
- 导出Excel技术模板
- Majority Element
- BZOJ 2115 WC2011 Xor 线性基+贪心
- 再见
- 基于W5500的NetBIOS应用实例