抱SQL SERVER大腿之从巨大表中提炼非重复数据

抱SQL SERVER大腿之从巨大表中提炼非重复数据

左直拳

 

有一个表，2千多万条记录，其中有很大部分只有一两个字段的内容不同，可视为重复记录。现在要从这个表里提炼出不重复的部分，转移到另一个新表里。同时这个转移不是简单的复制，因为两表的结构不同，新表中的新字段需要赋值。

凭我那两下子，是这么搞的：

1、不能用一条SQL语句搞定（也许有，我写不出来）。要用循环；

2、使用临时表；

3、删除临时表中的重复记录，然后转移到新表

过程如下：

--创建一个与新表一模一样的临时表

CREATE TABLE #TEMP ……

 

--循环，将符合条件的记录（未过滤重复）插进临时表

--这里对这个巨大表是分批处理的，每个循环最多处理10万条

WHILE( @i < @j )

BEGIN

    SET @k1 = @i * 100000

    SET @k2 = (@i + 1) * 100000

 

    INSERT INTO #TEMP(……)

    SELECT

    ……

    FROM a, b

    WHERE ……

    AND a.Id BETWEEN @k1 AND @k2

    GROUP BY ……

 

--赋新值

    UPDATE #TEMP SET ……

    FROM #TEMP,a

    WHERE ……

    AND a.Id BETWEEN @k1 AND @k2

 

    SET @i = @i + 1

END

 

--删除重复行

DELETE FROM #TEMP WHERE

EXISTS(SELECT 1 FROM #TEMP a WHERE a.Id<#TEMP.Id AND a. KeyId=#TEMP.KeyId)

--最后将数据从临时表复制到新表

INSERT INTO ……

SELECT ……

FROM #TEMP

 

两千多万条记录啊。

 

两千多万条记录算条毛？要是两千多万元人民币多好。