2.Tachyon实现原理

来源:互联网 发布:文件重复查找 linux 编辑:程序博客网 时间:2024/06/05 17:53

Tachyon的实现原理,我们可以关注四点:

1)       Tachyon在内存中只保存一份数据

2)       将Spark的容错lineage思想引入存储层

3)       通过依赖关系重算进行容

4)       用了Linux文件系统Ramfs做存储

 

Ramfs是什么?

Linux有一种基于RAM做存储的文件系统,叫做Ramfs。 它是基于与Linux文件系统缓存相同的机制和存储空间来创建的内存文件系统,因此访问其文件系统上所存储的文件就像访问文件系统缓存一样,非常快速。 Tachyon正是将所有的缓存块文件,存储在Linux的Ramfs上,在使用过程中可以把Ramfs理解为在普通的HDD上建立了一个文件系统,Ramfs的实现本身没有后备存储源,相当于把RAM作为最后一层的存储。 Ramfs将Linux磁盘缓冲导出为一个可动态调整大小的基于RAM的文件系统。向Ramfs中进行的文件写操作也会配目录项和页缓存,但是数据并不写回到任何其他存储介质上。这意味着涉及的内存页不会被标记为“干净”状态,这样VM就不会回收分配给Ramfs的内存。由此出现一个基于内存实现快速共享的文件系统Tachyon, Tachyon是使用Java语言实现。

 

0 0