MySQL 数据库中删除重复记录的方法总结

来源：互联网发布：魅力声音训练营淘宝编辑：程序博客网时间：2024/05/16 07:03

MySQL 数据库中删除重复记录的方法总结

演示数据

表结构：

 
mysql> descdemo;
+-------+------------------+------+-----+---------+----------------+
| Field | Type | Null | Key|Default | Extra |
+-------+------------------+------+-----+---------+----------------+
| id | int(11) unsigned |NO| PRI | NULL | auto_increment |
| site | varchar(100) |NO| MUL | | |
+-------+------------------+------+-----+---------+----------------+
2 rowsinset (0.00 sec)

数据：

 
mysql> select*from demo order byid;
+----+------------------------+
| id | site |
+----+------------------------+
| 1 | http://www.CodeBit.cn |
| 2 | http://YITU.org |
| 3 | http://www.ShuoWen.org |
| 4 | http://www.CodeBit.cn |
| 5 | http://www.ShuoWen.org |
+----+------------------------+
5 rowsinset (0.00 sec)

当没有创建表或创建索引权限的时候，可以用下面的方法：

如果你要删除较旧的重复记录，可以使用下面的语句：

 
mysql> deletefroma 
-> using demoasa, demo as b
->where(a.id > b.id)
->and(a.site = b.site);
Query OK, 2 rows affected (0.12 sec)
mysql> select*from demo order byid;
+----+------------------------+
| id | site |
+----+------------------------+
| 1 | http://www.CodeBit.cn |
| 2 | http://YITU.org |
| 3 | http://www.ShuoWen.org |
+----+------------------------+
3 rowsinset (0.00 sec)

如果你要删除较新的重复记录，可以使用下面的语句：

 
mysql> deletefroma 
-> using demoasa, demo as b
->where(a.id < b.id)
->and(a.site = b.site);
Query OK, 2 rows affected (0.12 sec)
mysql> select*from demo order byid;
+----+------------------------+
| id | site |
+----+------------------------+
| 2 | http://YITU.org |
| 4 | http://www.CodeBit.cn |
| 5 | http://www.ShuoWen.org |
+----+------------------------+
3 rowsinset (0.00 sec)

你可以用下面的语句先确认将被删除的重复记录：

 
mysql> SELECTa.*
->FROMdemo a, demo b
->WHEREa.id > b.id
->AND(a.site = b.site);
+----+------------------------+
| id | site |
+----+------------------------+
| 1 | http://www.CodeBit.cn |
| 3 | http://www.ShuoWen.org |
+----+------------------------+
2 rowsinset (0.00 sec)

如果有创建索引的权限，可以用下面的方法：

在表上创建唯一键索引：

 
mysql> alterignoretable demo adduniqueindex ukey (site);
Query OK, 5 rows affected (0.46 sec)
Records: 5 Duplicates: 2 Warnings: 0
mysql> select*from demo order byid;
+----+------------------------+
| id | site |
+----+------------------------+
| 1 | http://www.CodeBit.cn |
| 2 | http://YITU.org |
| 3 | http://www.ShuoWen.org |
+----+------------------------+
3 rowsinset (0.00 sec)

重复记录被删除后，如果需要，可以删除索引：

 
mysql> altertabledemo dropindexukey;
Query OK, 3 rows affected (0.37 sec)
Records: 3 Duplicates: 0 Warnings: 0

如果有创建表的权限，可以用下面的方法：

创建一个新表，然后将原表中不重复的数据插入新表：

 
 
mysql> createtabledemo_new asselect* fromdemogroup bysite;
Query OK, 3 rows affected (0.19 sec)
Records: 3 Duplicates: 0 Warnings: 0
mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| demo |
| demo_new |
+----------------+
2 rowsinset (0.00 sec)
mysql> select*from demo order byid;
+----+------------------------+
| id | site |
+----+------------------------+
| 1 | http://www.CodeBit.cn |
| 2 | http://YITU.org |
| 3 | http://www.ShuoWen.org |
| 4 | http://www.CodeBit.cn |
| 5 | http://www.ShuoWen.org |
+----+------------------------+
5 rowsinset (0.00 sec)
mysql> select*from demo_new order by id;
+----+------------------------+
| id | site |
+----+------------------------+
| 1 | http://www.CodeBit.cn |
| 2 | http://YITU.org |
| 3 | http://www.ShuoWen.org |
+----+------------------------+
3 rowsinset (0.00 sec)

然后将原表备份，将新表重命名为当前表：

 
mysql> rename table demo todemo_old, demo_newtodemo;
Query OK, 0 rows affected (0.04 sec)
mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| demo |
| demo_old |
+----------------+
2 rowsinset (0.00 sec)
mysql> select*from demo order byid;
+----+------------------------+
| id | site |
+----+------------------------+
| 1 | http://www.CodeBit.cn |
| 2 | http://YITU.org |
| 3 | http://www.ShuoWen.org |
+----+------------------------+
3 rowsinset (0.00 sec)

注意：使用这种方式创建的表会丢失原表的索引信息！

 
mysql> descdemo;
+-------+------------------+------+-----+---------+-------+
| Field | Type | Null | Key|Default | Extra |
+-------+------------------+------+-----+---------+-------+
| id | int(11) unsigned |NO| | 0 | |
| site | varchar(100) |NO| | | |
+-------+------------------+------+-----+---------+-------+
2 rowsinset (0.00 sec)

如果要保持和原表信息一致，你可以使用 show create table demo; 来查看原表的创建语句，然后使用原表的创建语句创建新表，接着使用 insert … select 语句插入数据，再重命名表即可。

当然，如果要避免重复记录，最好的办法还是不要插入重复数据，可以参考本站另外一篇文章：MySQL 当记录不存在时插入（insert if not exists）。