Spark Storage之DiskStore

概要

上篇文章介绍了MemoryStore对内存数据的管理，DiskStore是BlockStore的另一个实现类，负责管理磁盘数据。

结构

DiskStore继承BlockStore，实现了相关抽象方法，类图如下

DiskStore

DiskStore实现了BlockStore的putBytes、putArray、putIterator等方法，将数据写到磁盘，主要功能包括以下两点

• 序列化
  putArray方法输入参数为Array[Any]，写入磁盘需要对数据进行序列化操作，类似的，getValues方法需要对数据进行反序列化操作，默认使用JavaSerializer。
• Java NIO
  读写磁盘文件使用的是Java NIO，涉及到的API主要包括java.nio.ByteBuffer、java.nio.channels.FileChannel，更多内容参考Java NIO – Using ByteBuffer，和Spark中用法基本一致。

DiskBlockManager

DiskBlockManager的功能是维护了BlockId和对应的磁盘文件位置的关系，即BlockId对应的数据的存储位置，后面详细介绍。

磁盘文件组织

DiskBlockManager负责组织磁盘文件结构，提供根据blockId(即文件名)返回File对象的getFile方法，如下

如上图注释，DiskBlockManager使用两级目录管理文件，如下

目录 说明 默认值 spark.local.dir 磁盘文件的存储位置，可以配置多个，以逗号分隔 /tmp 一级目录 在spark.local.dir目录下创建一级目录，由blockmgr前缀加UUID组成 blockmgr-{UUID} 二级目录 在一级目录下创建二级目录，默认64个文件夹，16进制表示 00至3f(16进制的0到63) 文件名 存储的文件内容可以是RDD、ShuffleData、Broadcast，以ShuffleDataBlockId为例，其格式为 “shuffle_” + shuffleId + “_” + mapId + “_” + reduceId + “.data” 参考BlockId代码

例子

结合上面图表和代码，假设要存储的数据为ShuffleData，那么，这条数据的最终存储路径可以是/tmp/blockmgr-db9f05c5-4e94-47d5-a601-61944a53d345/3e/shuffle_1_9_0.data，也就是上面介绍的/$spark.local.dir/一级目录/二级目录/文件名的格式，其中shuffle_1_9_0.data中的1、9、0分别代表 shuffleId、mapId、reduceId 。

总结

介绍Spark对于磁盘文件的管理及读写。