【高性能】Lustre分布式存储文件系统介绍和故障分析

Lustre是应用广泛的linux开源分布式存储文件系统，其容量可轻易扩容到PB级别，在HPC、云上有相应的使用。

Lustre由元数据服务器MDS、数据存储服务器OSS组成。MDS服务器负责管理OSS服务器上的数据，并处理来自客户端的数据请求。每个OSS服务器的本地存储器，比如硬盘，被划分为多个raid阵列，每个阵列被虚拟为OST数据链路；一个oss服务器包含多个热备盘用于备份本地数据，热备盘并不保存某块硬盘的数据备份，而是使用全局数据推算的方法，保存oss服务器上的数据的数字特征，这使得任意一块硬盘发生故障，oss服务器可通过热备盘记录的数据恢复出本地所有的数据。Oss服务器的数据存储方式有条带和非条带方式，条带方式会将一份文件完整地存储在任意oss上，非条带方式则会打散文件并存到任意oss上；前者有助于数据恢复，后者有利于加快数据传输速度。

linux客户端使用lustre，需要安装相应的lustre客户端软件，并远程挂载MDS服务器上提供的lustre路径。为了指定lustre服务使用的网络驱动器，需要设置/etc/modprobe.d/lustre.conf文件的内容为：options lnetnetworks=tcp(你的网络驱动器)。启动lustre需要加载lnet和lustre模块，设mds服务器地址为192.168.2.1，启动代码如下：

modprobe lnet

modprobe lustre#有版本不需要

lctl network up

mount –t lustre 192.168.2.1@tcp:/lustre /lustre

 

linux客户端遇到无法挂载lustre的情况，依次检查：

1、  网络是否启用是否能ping通mds服务器

2、  是否加载和启用lnet和lustre服务

3、  检查/etc/modprobe.d/lustre.conf文件是否设置了正确的网络驱动器

4、  某些版本lustre可能会使用/etc/modprobe.d/lustre1w之类的奇怪文件作为lustre设置，检查这些文件

5、  Mds服务器是否宕机

6、  条带存储型的lustre系统的oss服务器发生故障，可能有一部分客户端能够连接，一部分客户端配置正确却不能连接。可以在管理节点上使用StorMan软件逐个检查oss服务器是否宕机

7、  使用lfs df命令查看ost是否存在故障

 

大部分无法挂载的情况，检查并更新配置，重启客户端，重启宕机的服务器，一般都能解决。如果oss服务器出现故障硬盘（硬盘灯常亮），需要及时更换新硬盘，lustre会自动在新硬盘上重建数据；如果坏硬盘数量超过热备盘，一般很难恢复所有数据。如果无法启动oss服务器，考虑内存、硬盘或者raid卡发生故障，这时候需要联系厂商售后更换故障零部件。