数据结构（如何在10亿数据中快速查找出重复的数据）

来源：互联网发布：linux arm 交叉编译编辑：程序博客网时间：2024/06/03 15:51

对于32位的计算机而言，只有2G的内存（2的三十一次方），而十亿大概是2的32次方。因此，不能将其直接放到内存中进行处理。一个byte有八位，我们可以开辟长度为2的29次方的byte数组，利用位映射原理，将要处理的数对8进行除法取商，商作为byte数组的下标，数组存储的元素可以转化为八位二进制，若二进制数的第i位为一，则表示该数对8取模的值为i。如：

假设某数据为9。9=8*1+1，即对8的商为1，对8取模为1。应该存在byte[1]，将byte[1]的值改为00000002，即把2的一次方赋予byte[1]。

可以看到，新开数组的所需大小并不取决于数据量的大小，而是取决于某数据值的大小，新开的数组byte的大小N与所需处理的数据集之中的最大值Max有关，N>=Max/8。那么，先得到最大值，再进行查重可不可行呢，效率相对于直接开大空间有多大的提升呢？有待探究。

按照之前并不优雅的做法，就把数据量降低了n倍，得以对其进行各种操作。

下面上代码！

package SearchRepeatition;/** * @author lzj lzj.997@qq.com: * @version 创建时间：2015-1-31 下午5:05:42 类说明 ：10亿数量级的查重 */public class searchRepeat {// 查询方法public void search(int[] array) {byte[] bytes = new byte[20];// 一个byte有8个bit，00000000int[] binary = new int[8];// 开辟存储对应二进制数的数组// 根据位图映射，得知byte数组的大小取决于数据集中的max;// 因此对数据大小相差大的集合处理效果并不理想for (int i = 0; i < array.length; i++) {int index = (int) array[i] / 8;// 得到数字在bytes数组中的下标int mod = array[i] % 8;// 得到数字对8的模for (int j = 6; j >= 0; j--) {binary[j] = bytes[index] % 2;// 转成二进制存到binary数组，因转为二进制码要倒过来读，所以从6开始bytes[index] = (byte) (bytes[index] / 2);}bytes[index] = (byte) Math.pow(2, mod);System.out.println("j=" + i + "     index=" + index+ "     bytes[index]=" + bytes[index] + "     mod=" + mod);// 如果binary[7-mod]为0，说明没有重复if (binary[6 - mod] != 0) {System.out.println("数字:" + (mod + 8 * index) + "重复了");}}}public static void main(String[] args) {int[] array = { 9, 1, 17, 38, 11, 26, 1, 1, 1, 9 };searchRepeat sr = new searchRepeat();long time = System.nanoTime();sr.search(array);System.out.println("==time cost==" + (System.nanoTime() - time));}}

最后修改于2015/01/31.

0 0