论文阅读报告：Spyglass : Fast Scalable Metadata Search for Large-Scale Storage Systems

 

Spyglass : Fast Scalable Metadata Search for Large-Scale Storage Systems

 

本文发表在第七次FAST之上。本文主要解决的问题是，随着数据存储规模的增长，文件系统存储的文件的元数据信息也会出现爆发式增长。伴随着元数据的巨大增加，文件系统的元数据搜索的效率需要的到很好的解决。本文力图提供一种快速，容易扩展的元数据管理方法。快速包括两方面的含义：1、对于搜索请求的快速响应。2.、对于元数据的快速生成。

可扩展性要求随着文件系统的规模的扩大系统的元数据搜索效率不能出现不可接受的性能下降。本文在对元数据应用场合的比较好的分析的基础上，针对元数据搜索的特性提出了比较好的解决方案。据称，比传统方案提高了10X，本方案的比较对象主要为传统的元数据管理方式，和用DBMS来管理元数据的方案。下面介绍一下本文中提到的元数据管理相关的东西。

元数据搜索的特征

     1、95%以上的元数据搜索都涉及多元素据的操作

2、33%以上的元数据搜索都与数据的locality相关

3、25%以上的元数据搜索都涉及到多个版本的元数据。

元数据的特征

     1、spatial locality   --利用这个进行搜索剪枝---signature  file ( 不止这个好处，貌似是)-

     2、highly skewed distibutions of values--分不不均，部分元数据访问频率比其他的高..cache....

 

 

实现的相关东西

层次性划分

K-Dtree     //上面

Index，metadata

    Update处理（batch）

Signature file

搜索剪枝等

Cache

对应元数据特征2

元数据搜集

Use  Net App的snaoshot 技术.....

总结：

功能针对需求...需求分析很重要.这里用到的技术都是些成熟的技术...单是idea和技术整合比较好啊