SQL去除重复记录

来源:互联网 发布:ws10b知乎 编辑:程序博客网 时间:2024/04/19 17:37

有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。
1、对于第一种重复,比较容易解决,使用
        select   distinct   *   from   tableName
就可以得到无重复记录的结果集。
如果该表需要删除重复的记录(重复记录保留1条),可以按以下方法删除
        select   distinct   *   into   #Tmp   from   tableName
        drop   table   tableName
        select   *   into   tableName   from   #Tmp
        drop   table   #Tmp
发生这种重复的原因是表设计不周产生的,增加唯一索引列即可解决。

2、这类重复问题通常要求保留重复记录中的第一条记录,操作方法如下
        假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集
        select   identity(int,1,1)   as   autoID,   *   into   #Tmp   from   tableName
        select   min(autoID)   as   autoID   into   #Tmp2   from   #Tmp   group   by   Name,Address
        select   *   from   #Tmp   where   autoID   in(select   autoID   from   #tmp2)
        最后一个select即得到了Name,Address不重复的结果集(但多了一个autoID字段,实际写时可以写在select子句中省去此列)
or
With Dups as
(
    select *, row_number() over (partition by Product_Code order by Product_Code) as RowNum
    from #prod
)


Delete from Dups where rownum > 1;

如果认为此文对您有帮助,别忘了支持一下哦!


自己用distinct的记录如下:

   <!-- 客户批次列表 -->  <select id="listPageCusBatch" parameterType="paramMap" resultType="pd">  select distinct tp.post_batchNo, tp.post_time, tp.customer_id, tc.customer_name      FROM tb_dispatch_mail_post tp    LEFT JOIN tb_dispatch_customer tc ON tp.customer_id = tc.customer_id   <where>   tp.post_batchno is not null    <if test="paramMap.postTimeStart !=null and paramMap.postTimeStart.length() > 0">  AND TO_DATE(#{paramMap.postTimeStart},'yyyy-mm-dd hh24:mi:ss') <= tp.post_time  </if>  <if test="paramMap.postTimeEnd !=null and paramMap.postTimeEnd.length() > 0">  AND TO_DATE(#{paramMap.postTimeEnd},'yyyy-mm-dd hh24:mi:ss') >= tp.post_time   </if>    </where>  ORDER BY tp.post_batchno DESC  </select>


1 0
原创粉丝点击