布隆过滤器 序列化与反序列化
来源:互联网 发布:佛山正大数据恢复中心 编辑:程序博客网 时间:2024/05/16 15:46
我的爬虫url去重采用布隆过滤器。但是考虑到系统停止再次运行后,会丢失布隆过滤器的信息,于是为了让布隆过滤器对象记住原来的值,所以必须对其进行序列化与反序列化。这样才能够保证系统的正常运行。对某个对象进行序列化与反序列化需要让对象所属的类实现序列化接口。我由于采用的布隆过滤器是采用最简单的那种,但由于这个布隆过滤器里面有内部类,所以对该布隆过滤器类和其内部类都要实现序列化接口,千万不能忘了内部类也要实现该接口。
下面开始上java代码:
public class BloomFilter implements java.io.Serializable {
private final int DEFAULT_SIZE = 2 << 24;
private final int[] seeds = new int[] { 5, 7, 11, 13, 31, 37, 61 };
private BitSet bits = new BitSet(DEFAULT_SIZE);
private SimpleHash[] func = new SimpleHash[seeds.length];
public BloomFilter() {
for (int i = 0; i < seeds.length; i++) {
func[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]);
}
}
public void add(String value) {
for (SimpleHash f : func) {
bits.set(f.hash(value), true);
}
}
public boolean contains(String value) {
if (value == null) {
return false;
}
boolean ret = true;
for (SimpleHash f : func) {
ret = ret && bits.get(f.hash(value));
}
return ret;
}
// 内部类,simpleHash
public static class SimpleHash implements java.io.Serializable {
private int cap;
private int seed;
public SimpleHash(int cap, int seed) {
this.cap = cap;
this.seed = seed;
}
public int hash(String value) {
int result = 0;
int len = value.length();
for (int i = 0; i < len; i++) {
result = seed * result + value.charAt(i);
}
return (cap - 1) & result;
}
}
}
至于序列话与反序列化网上有很多,但都没说保存在什么类型的文件中,但我保存的是.bat文件中,目前一切运行正常。
- 布隆过滤器 序列化与反序列化
- 序列化与反序列
- 序列化与反序列
- XML序列化与反序列化
- 对象序列化与反序列化
- 序列化与反序列化
- 转载:序列化与反序列化
- c#序列化与反序列化
- java序列化与反序列化
- XML序列化与反序列化
- 序列化与反序列化
- 序列化与反序列化
- C#序列化与反序列化
- java序列化与反序列化
- XML序列化与反序列化
- 再看序列化与反序列化
- 序列化与反序列化对象
- 序列化与反序列化
- ZOJ 3697 Bad-written Number
- Java字符串处理函数
- 阶乘
- boot bootcmd bootargs
- BitmapFactory.decodeResource加载图片缩小的原因及解决方法
- 布隆过滤器 序列化与反序列化
- Android应用程序显示欢迎画面并开机自启动
- Kinect for Windows SDK开发入门(五):景深数据处理 下
- 【Leetcode】Path Sum
- 实例阐述浮点数解包运算过程
- 深入理解 jdk 动态代理的实现
- c++模板技术
- 我的第一篇博文
- Cocos2D-x游戏开发之一:场景切换