SQL语句去掉重复的记录
来源:互联网 发布:java静态网页 编辑:程序博客网 时间:2024/04/30 16:28
出自:http://blog.csdn.net/black_ben/article/details/6311795
一、根据主键(Id)去重
方法一:直接删除
如果要删除手机(mobilePhone),电话(officePhone),邮件(email)同时都相同的数据,以前一直使用这条语句进行去重:
delete from 表 where id not in (select max(id) from 表 group by mobilePhone,officePhone,email ) or delete from 表 where id not in (select min(id) from 表 group by mobilePhone,officePhone,email )方法二:利用临时表快速删除
//查询出唯一数据的ID,并把他们导入临时表tmp中 select min(id) as mid into tmp from 表 group by mobilePhone,officePhone,email //查询出去重后的数据并插入finally表中 insert into finally select (除ID以外的字段) from customers_1 where id in (select mid from tmp)
1.效率对比:
(1)用delete方法对500万数据去重(1/2重复)约4小时。4小时,很长的时间。
(2)用临时表插入对500万数据去重(1/2重复)不到10分钟。
其实用删除方式是比较慢的,可能是边找边删除的原因,而使用临时表,可以将没有重复的数据ID选出来放在临时表里,再将表的信息按临时表的选择出来的ID,将它们找出来插入到新的表,然后将原表删除,这样就可以快速去重。
二、根据条件去重方法一:按照多条件进行去重
delete tmp from( select row_num = row_number() over(partition by 字段,字段 order by 时间 desc) from 表 where 时间> getdate()-1 ) tmp where row_num > 1方法二:按照单一条件进行去重
delete from 表 where 主键ID not in( select max(主键ID) from 表 group by 需要去重的字段 having count(需要去重的字段)>=1)
注意:为提高效率如上两个方法都可以使用临时表, not in 中的表可以先提取临时表#tmp,
然后采用not exists来执行,为避免数量过大,可批量用Top控制删除量
delete top(2) from 表 where not exists (select 主键ID from #tmp where #tmp.主键ID=表.主键ID)
0 0
- SQL语句去掉重复的记录
- 如何去掉重复记录的Sql语句写法
- 用SQL语句去掉重复的记录(转)
- SQL语句去掉重复记录,获取重复记录
- SQL语句去掉重复记录,获取重复记录
- sql 去掉重复记录
- sql去掉重复记录
- SQL SERVER 去掉重复记录
- 几个删除重复记录的SQL语句!
- 几个删除重复记录的SQL语句
- 几个删除重复记录的SQL语句
- 查询重复记录的SQL语句
- 几个删除重复记录的SQL语句
- 删除重复记录的sql语句
- 可以删除重复记录的SQL语句
- 几个删除重复记录的SQL语句
- 删除重复记录的SQL语句
- 几个删除重复记录的SQL语句
- 图文详解YUV420数据格式
- 文件特殊权限:SUID,SGID,SBIT
- svn cleanup失败,显示Working Copy……
- python 工具包总结
- error LNK2019: 无法解析的外部符号 "class std::vector<class std::basic_string<char,struct std::char_traits<cha
- SQL语句去掉重复的记录
- Java Thread 总结
- 用起来超爽的Maven——进阶篇
- MySQL 数据类型
- GDB十分钟教程
- USB HID介绍
- 陈怡暖:黄金再创新高,但追多需谨慎
- webview和H5 清除缓存和缓存文件删除。
- JQuery的extend方法详解