mysql大批量去重并导入

来源：互联网发布：域名代理商编辑：程序博客网时间：2024/06/08 12:16

今天拿到这个文件，里面有联系人及其地址，如图

这时候就要我去将这些数据导入现在开发的系统之中。

其实2个字段不是太复杂，一个问题就是其中的一部分另一个同事之前导入了，那一部分又不需要更改。

问题就变成了，查找出当前文档里面有哪些内容是以前已经导入过了的。

根据这样我先想出了一个方法，利用excel的CONCATENATE("'",D30,"',")拼接字符串，结果如图

然后数据库查询：

select * from aaaa.contactaaa where cont_name in ('GTMC','GTT','广菲克（长沙）','广菲克（广州）');

这样其实是可以查出来有哪些是被使用过的，但是无法得知是哪一行，所以这时候就使用另外一个方法：

还是使用excel里面的拼接字符串

=CONCATENATE("SELECT COUNT(1),cont_id FROM aaa.bbbcontact WHERE cont_name='",D30,"' UNION ALL ")

然后下拉条，就变成

SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='GTMC' UNION ALL SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='GTT' UNION ALL SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='广菲克（长沙）' UNION ALL SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='广菲克（广州）' UNION ALL SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='广汽传祺' UNION ALL SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='广汽三菱' UNION ALL SELECT COUNT(1),cont_id FROM dbola.tblcontact WHERE cont_name='南沙港' UNION ALL

这个时候查出来就是：

因为这个行与excel的行是一一对应的，所以将这些行导出，复制到excel之中，在进行筛选，就可以去除无需导入的数据了

0 0