opendedup(sdfs)源码分析1

opendedup简介

opendedup也称为sdfs是一个重复数据删除开源项目，根据开发者Sam Silverberg的说法，"SDFS的设计目标是利用基于对象的文件系统的性能和可扩展性优点，通过重复数据删除优化存储。"结果 是："Opendedup/SDFS可以优化1PB以上的数据；在128K块大小的情况下，每GB记忆体支持3TB以上数据；在线重复数据删除的执行速度 达到290MB/秒；拥有很高的总I/O性能；支持VMware（以及Xen和KVM），并可以对4K的块进行重复数据删除操作。同时，它还是免费的。

其架构图如下

 

opendedup分为了四层：

从下向上：第一次可以使用本地文件系统或者Amazon S3文件系统，第二层为JAVA编写的重复数据存储引擎，第三层为JAVA编写的重复文件引擎，第四层为C语言编写的FUSE文件系统。