找到一个适合的分布式文件系统之各种分布式文件系统优缺点对比

一、各种分布式文件系统对比

1.1 表格对比

技术

优点

缺点

总结

1、   HDFS

1、大数据批量读写，吞吐量高；

2、一次写入，多次读取，顺序读写；

1、交互式应用，低延迟很难满足；

2、不支持多用户并发写相同文件。

如果是很多小文件，nameNode压力大

2、    googleFs

1、成本低，运行在廉价的普通硬件上

1、不开源

不开源，使用困难

3、   Tfs

1、    开源

1、小于1M的文件

2、TFS内部是没有任何数据的内存缓冲的

 适合单个文件比较小的系统

4、   Lustre

1、  开源

2、  支持POSIX

3、  文件被分割成若干的Chunk，每个chunk是一般为1MB－4MB

 

 

5、 Ceph

 

1、支持POSIX

2、开源

 

1、  在Linux主流内核中找到ceph

2、不成熟，处于测试推广阶段

6、  MogileFs

1、开源

 

 比FastDFS 差

7、   FastDFS

1、  开源

2、  适合以文件为载体的在线服务

3、  FastDFS没有对文件做分块存储

4、  不需要二次开发即可直接使用

5、  比mogileFS更易维护和使用

6、  直接使用socket通信方式，相对于MogileFS的HTTP方式，效率更高。

1、文件访问方式使用专有API，不支持POSIX

 

8、swiftfs

 

 

1、基于HDFS

9、NFS

1、用户和程序可以象访问本地文件一样访问远端系统上的文件

 

 

 

开源的分布式文件/对象系统比较有名的包括Lustre（HPC）GlusterFS（NAS NFS）、HDFS（hadoop）、ceph（虚机块存储）、swift（restful对象存储），各有不同的领域。

 

1.2 相关链接

1.2.1     Hadoop

http://tech.it168.com/a2012/1029/1414/000001414776.shtml

hadoop文档 ：http://hadoop.apache.org/

https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

1.2.2     Googlefs 不开源

1.2.3     Tfs

开源首页：http://tfs.taobao.org/

1.2.4     Lustre

http://lustre.org/

http://lustre.org/getting-started-with-lustre/

1.2.5     ceph：

社区网站地址：
http://ceph.org.cn/
中文文档：
http://docs.ceph.org.cn/start/intro/

源码：https://github.com/ceph/ceph

https://www.oschina.net/translate/ceph

http://dockone.io/article/307

1.2.6     MogileFs

1.2.7     fastdfs

http://elf8848.iteye.com/blog/1739596

MogileFs 和FastDFS 对比：http://blog.csdn.net/wishfly/article/details/6940504

http://www.sunnyu.com/?p=105

http://bbs.chinaunix.net/thread-2001101-1-1.html

1.2.8     swiftfs

https://github.com/ovh/svfs

https://wiki.openstack.org/wiki/Swift

https://support.rackspace.com/how-to/swift-filesystem-for-hadoop/

1.2.9     综合

 现在主流的开源分布式文件系统架构有哪些？

https://www.zhihu.com/question/19832447

 如何选择分布式文件系统？

https://segmentfault.com/q/1010000000449947

 各种分布式文件系统

http://os.51cto.com/art/201007/212689_all.htm

索引树：http://bbs.chinaunix.net/tree/index_304_1/

当下流行的分布式文件系统大阅兵

http://os.51cto.com/art/201007/212689_all.htm