Mysql批量insert重复数据的处理

经常在批量导入数据的时候，我们需要剔除已导入的重复数据，如果采用查询库中是否已经存在该条纪录，一般是不划算的，至少会多一次查库的 操作。

其实数据库oracle或者mysql已经提供了处理重复数据的机制：
oracle：可以使用 merge into语法
mysql：可以使用ON DUPLICATE KEY UPDATE

首先创建一个唯一索引：

ADD UNIQUE INDEX uidx_v_a_m_id_mem (vote_id ASC, member_code ASC);

 insert into vote_activity_member ( vote_id, member_code,       member_name, vendor_name, contact_name,       contact_phone, sign_status, audit_status,        delete_flag, create_id, create_name,       create_time, modify_id, modify_name,       modify_time)    values     ( 1, 'htd1000000',       'x', 'c', 'zxl',      '13265658562',0, 0,       0, 0,'zxl',       NOW(), 0, 'zxl',       NOW()),       ( 1, 'xxx',       'w', 'w', 'zxl',       '13265658562',0,       0, 0,'zxl',       NOW(), 0, 'zxl',       NOW()) on duplicate key update modify_time =now()

on duplicate key update 会根据库里唯一索引的条件去检测，如果已经存在了一条，那么就不再insert而是执行update后面的语句。