海量数据去重排序--bitmap(位图法)在java中的实现的两种方法
来源:互联网 发布:java业余培训 编辑:程序博客网 时间:2024/05/21 17:49
在海量数据中查找出重复出现的元素或者去除重复出现的元素是面试中常考的文图。针对此类问题,可以使用位图法来解决。例如:已知某个文件内包含若干个电话号码,要求统计不同的号码的个数,甚至在O(n)时间复杂度内对这些号码进行排序。
位图法需要的空间很少(依赖于数据分布,但是我们也可以通过一些放啊发对数据进行处理,使得数据变得密集),在数据比较密集的时候效率非常高。例如:8位整数可以表示的最大十进制数值为99999999,如果每个数组对应于一个bit位,那么把所有的八进制整数存储起来只需要:99Mbit = 12.375MB.
实际上,java jdk1.0已经提供了bitmap的实现BitSet类,不过其中的某些方法是jdk1.4之后才有的。
下面我先自己实现一下bitmap 的原理,然后再直接调用jdk的BitSet类分别实现bitmap, 方便比较理解:
package swordoffer;//去除重复并排序import java.util.Arrays;import java.util.BitSet;import java.util.Random;/** * @author Gavenyeah * @date Time: 2016年4月15日下午9:20:21 * @des: */public class BitMap { int ARRNUM = 800; int LEN_INT = 32; int mmax = 9999; int mmin = 1000; int N = mmax - mmin + 1; public static void main(String args[]) { new BitMap().findDuplicate(); new BitMap().findDup_jdk(); } public void findDup_jdk() { System.out.println("*******调用JDK中的库方法--开始********"); BitSet bitArray = new BitSet(N); int[] array = getArray(ARRNUM); for (int i = 0; i < ARRNUM; i++) { bitArray.set(array[i] - mmin); } int count = 0; for (int j = 0; j < bitArray.length(); j++) { if (bitArray.get(j)) { System.out.print(j + mmin + " "); count++; } } System.out.println(); System.out.println("排序后的数组大小为:" + count ); System.out.println("*******调用JDK中的库方法--结束********"); } public void findDuplicate() { int[] array = getArray(ARRNUM); int[] bitArray = setBit(array); printBitArray(bitArray); } public void printBitArray(int[] bitArray) { int count = 0; for (int i = 0; i < N; i++) { if (getBit(bitArray, i) != 0) { count++; System.out.print(i + mmin + "\t"); } } System.out.println(); System.out.println("去重排序后的数组大小为:" + count); } public int getBit(int[] bitArray, int k) {// 1右移 k % 32位 与上 数组下标为 k/32 位置的值 return bitArray[k / LEN_INT] & (1 << (k % LEN_INT)); } public int[] setBit(int[] array) {// 首先取得数组位置下标 i/32, 然后 或上 // 在该位置int类型数值的bit位:i % 32 int m = array.length; int bit_arr_len = N / LEN_INT + 1; int[] bitArray = new int[bit_arr_len]; for (int i = 0; i < m; i++) { int num = array[i] - mmin; bitArray[num / LEN_INT] |= (1 << (num % LEN_INT)); } return bitArray; } public int[] getArray(int ARRNUM) { @SuppressWarnings("unused") int array1[] = { 1000, 1002, 1032, 1033, 6543, 9999, 1033, 1000 }; int array[] = new int[ARRNUM]; System.out.println("数组大小:" + ARRNUM); Random r = new Random(); for (int i = 0; i < ARRNUM; i++) { array[i] = r.nextInt(N) + mmin; } System.out.println(Arrays.toString(array)); return array; }}
1 0
- 海量数据去重排序--bitmap(位图法)在java中的实现的两种方法
- 002 bitmap海量数据的快速查找和去重
- BitMap(位图) -处理海量数据
- 海量数据处理 bitmap算法实现32位压缩排序(位图排序)
- oracle海量数据去重方法
- Java List去重的两种方法
- bitmap位图方案解决海量数据文件排序的问题
- 海量小范围数据排序(位图)
- 数组去重的两种方法
- 数组去重的两种方法
- 海量数据处理---位图法Bitmap
- 海量数据处理--位图(BitMap)
- 去重排序List(Java实现)
- 位图Bitmap的两种加载方式
- 位图(bitmap)排序
- BitMap(位图)排序
- 海量数据去重策略
- 海量数据---位图法的应用
- 正则中需要转义的特殊字符小结
- 【笔记】 《js权威指南》- 第19章 JQuery类库 - 19.1 JQuery基础
- [LintCode] 带最小值操作的栈 Min Stack
- vc++调试问题
- MySQL慢查询分析mysqldumpslow
- 海量数据去重排序--bitmap(位图法)在java中的实现的两种方法
- Linux环境下部署完JDK后运行一个简单的Java程序
- HDU-4588 Count The Carries (模拟)
- java 使用 comet4j 主动向客户端推送信息 简单例子
- MySQL审计之init-connect + binlog
- OpenCV_连通区域分析(Connected Component Analysis/Labeling)
- 100道C#面试题(.net开发人员必备)
- 编写代码期间遇到的问题
- ES6-Iterator与for..of..遍历