Sql去重方法

前几天在群里见一朋友问一题目，据说是微软一朋友出的，剔除一张四亿条记录的表里面的重复数据。我的第一想法就是先分区，然后直接去重，合并。分区与合并暂时不觉得有问题，只是在去重代码上有争议，后来将我知道的三种方法测试了下，group_by效率最高，Distinct和Partition_by效率是前面的一半，因为后两者有排序开消，一般人都习惯用distinct，省事，不过作为做etl的人来说效率还是最重要的，也许有其他方法，不管效率如何，希望看到的朋友能够一起分享。