通用面试题:海量数据去重

那些优雅的数据结构(1) : BloomFilter——大规模数据处理利器

http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html

 

mapreduce
http://blog.csdn.net/sunxinhere/article/details/8011144