Alluxio增强Spark和MapReduce存储能力

Alluxio的前身为Tachyon。Alluxio是一个基于内存的分布式文件系统；Alluxio以内存为中心设计，他处在诸如Amazon S3、 Apache HDFS 或 OpenStack Swift存储系统和计算框架应用Apache Spark 或Hadoop MapReduce中间，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件。

对上层应用来讲，Alluxio是一个管理数据访问和快速存储的中间层，对底层存储而言，Alluxio消除了大数据业务和存储系统依赖和鸿沟， 隐藏底层存储的差异，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。Alluxio支持的后端存储包括GCS、S3、Swift、GlusterFS、HDFS、MapR-FS、 secure HDFS、AlibabaOSS和NFS。

Alluxio应用场景

通常，在大数据领域，最底层的是分布式文件系统，如Amazon S3、Apache HDFS等，而较高层的应用则是一些分布式计算框架，如Spark、MapReduce、Hbase、Flink等，这些分布式框架，往往都是直接从分布式文件系统中读写数据，效率比较低，性能消耗比较大。

Alluxio居于传统大数据存储(如Amazon S3，Apache HDFS和OpenStack Swift等) 和大数据计算框架（如Spark，Hadoop Mapreduce）之间，为那些大数据应用提供一个数量级的加速，而且它只要提供通用的数据访问接口，就能很方便的切换底层分布式文件系统。

Alluxio的组件

Alluxiozh包括一个Master和多个workers，在逻辑上 Alluxio由master、workers和clients组成。通过master和workers一起协同工作来提供服务并有协同管理员来维护和管理，而clients一般面向的就是大数据应用程序，如Spark 或MapReduce任务，它是数据访问的发起者。通常情况，Alluxio用户只需要跟client 进行交互，clients为用户提供统一的文件存取服务接口。

Alluxio系统架构

与其他诸如HDFS、HBase、Spark等大数据相关框架一致，Alluxio的主节点为Master，Alluxio支持部署一个或两个Master节点，即单节点或HA模式。Master负责管理全局的文件系统元数据，比如文件系统树等，Clients跟Master交互获取元数据。而从节点Worker负责管理本节点数据存储资源，这些资源包括本地Memory、SSD或HDD。

当HDFS、HBase、Spark等应用程序需要访问Alluxio时，通过客户端先与主节点Master通讯，然后再和对应Worker节点通讯，进行实际的文件存取操作。所有的Worker会周期性地发送心跳给Master，维护文件系统元数据信息和确保自己被Master感知到，并在集群中正常提供服务。与HDFS、HBase等分布式系统设计模式是一致，Master不会主动发起与其他组件的通信，它只是以回复请求的方式与其他组件进行通信，减少Master的工作负载。

Alluxio的生态

利用Alluxio将NAS设备接入Hadoop生态链，Dell EMC就ECS产品签订了合作协议，华为、HDS、HPE和NetApp也跟Alluxio有类似合作；通过一个中间层，能够让Hadoop、Spark、Storm、samza等选择访问任何一种后端存储数据源，如 9000，AWS S3、HDFS、Ceph、Isilon、Gluster等。搜索“ICT_Architect”加入微信公众号“架构师技术联盟”获取更多精彩内容。