Spark Storage之ExternalBlockStore

概要

前两篇介绍了Storage模块的MemoryStore和DiskStore，此外，Spark支持外部存储，即ExternalBlockStore。

Tachyon( Alluxio)

简介

ExternalBlockStore底层使用Tachyon(现更名为Alluxio)，Tachyon是一个分布式文件系统，提供内存级别的访问速度，通常作用于分布式计算框架(如spark)和底层存储之间(如HDFS)，起到数据缓存，内存共享的效果。

使用

Spark1.6及以前版本中使用Tachyon，参考Running Spark on Tachyon。

API

Tachyon提供了和Java File相似的API，远程访问Tachyon服务，主要为TachyonFS和TachyonFile，一个简单的上传数据的例子如下

val input: byte[] = _val masterURI = _val filePath = _val client: TachyonFS = TachyonFS.get(new TachyonURI(masterURI), new TachyonConf())val file: TachyonFile = client.getFile(filePath)val os: FileOutStream = file.getOutStream(WriteType.TRY_CACHE)try {    os.write(input)} finally {    os.close()}

更多关于Tachyon的内容，可以参考Tachyon: A Reliable Memory Centric Storage for Big Data Analytics。

ExternalBlockStore

ExternalBlockStore继承BlockStore，类图如下

ExternalBlockStore持有TachyonBlockManager对象，利用TachyonBlockManager中的TachyonFS对象和Tachyon服务交互，完成数据的上传下载删除等。此外，TachyonBlockManager维护着数据的层级结构，和Spark Storage之DiskStore中介绍的磁盘文件组织部分相似。

移除ExternalBlockStore

Spark2.0移除了ExternalBlockStore相关的API，参考Remove block manager’s internal “external block store” API，移除后StorageLevel.OFF_HEAP 作用等同于StorageLevel.MEMORY_AND_DISK_SER 。

移除了ExternalBlockStore API后，设置StorageLevel.OFF_HEAP不能使用Tachyon了，只能通过saveAsTextFile API使用，如下

sc.hadoopConfiguration.set("fs.tachyon.impl", "tachyon.hadoop.TFS")var file = sc.textFile("tachyon://localhost:19998/LICENSE")val counts = file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)counts.saveAsTextFile("tachyon://localhost:19998/result")

更多参考Explore In-Memory Data Store Tachyon。

总结

介绍Tachyon及Spark的ExternalBlockStore相关部分。