当Raid2.0遇上全固态存储

来源:互联网 发布:软件使用调查问卷 编辑:程序博客网 时间:2024/05/17 03:57

        随着互联网的发展,人们沟通越来越顺畅、高效、迅速。这种影响是非常深刻的,甚至直接影响到了企业后端的IT架构层面去,比如分布式。超融合、软件定义这些概念及对应产品。其中,全固态存储系统(AllFlash Array)更是在沉寂了几年之后又一次高调入市。那么AFA到底是为了应对哪些细分场景而生的呢?冬瓜哥在此总结了AFA的几个典型应用场景如下:

    1.      高IO要求的科学计算 。虽说多数科学计算并不需要太高的IO性能,在需要较高IO性能的科学计算场景中,同时需要很低IO时延的或者同步IO的场景,更是少之又少。为了增加节点密度以及保持精简,HPC集群一般不将数据保存在本地,而是保存在网络存储系统中,此时只有全固态存储可以满足这极小部分的场景。

    2.      特种行业,比如军工、地质勘探等 。不言而喻,野外恶劣环境,高实时性响应,以及野外恶劣环境下的大吞吐量数据采集等场景,需要全固态存储。比如地质勘探场景,用大锤往地上砸,然后收集声波反射声纹,其对数据吞吐量要求极高,同时机械盘的抗震性达不到要求。

    3.      极高吞吐量的OLTP场景 。对于互联网环境下广泛存在的在线交易场景,虽然可以用基于机械磁盘的分布式的架构来增加系统的并发量,但是其处理时延是无法降低的。对于那些对并发量和时延要求极为苛刻的场景,唯固态存储莫属。

    4.      要求尽快出结果的OLAP场景 。OLAP就是所谓的大数据分析,当然,不一定是大数据,也可能是小数据。OLAP场景要求的就是批量数据的IO吞吐量,也就是IOPS或者MB/s,但是这两个参数本质上是相同的,只是在不同场景下倾向使用不同的描述方式。有些OLAP系统大量采用同步IO等停的方式来分析数据,此时如果该数据集是可线性分割的话,可以采用多线程的方式,吞吐量尚可;但是如果是非线性可分割的话,多线程的作用大降,系统吞吐量很差,此时唯有降低IO时延才可以获取更高的吞吐量,全固态存储无疑是个好选择。  

近期几个厂商的AFA在不到一个月时间里扎堆推出,实数业界罕见之现象。不得不说,各家都有各家的特色。其中某家的AFA就是恰到好处的利用了Raid2.0技术,与AFA结合之后,产生了令人意想不到的效果。  

Raid2.0 ,也是近期各主流厂商竞相追捧的一种数据分布方式,它可以加速数据的重构。具体请看《 《可视化存储智能解决方案》(一) Raid2.0 》。冬瓜哥之前的那个“可视化存储智能解决方案”的产品思想,曾经在非公开场合与圈子里的众多工程师、用户介绍过,普遍反应是:这东西太牛逼了,如果真的实现了,绝对是传统存储系统的一大新玩法和亮点,主打的“可视化”和“智能”概念也非常应景接地气。好东西一定要让好团队实现,只可惜当时这件牛逼的礼服却找了个做土八路装的来做,根本就是对牛弹琴。这个功能底层核心非常简单,简单到只用几句话就可以说清楚:“之前的Raid2.0对数据的排布根本不考虑应用场景,几乎没有策略,随机乱放,或者全均衡;而可视化存储智能场景下,只做了一件核心的事情,那就是告诉Raid2.0核心管理模块,哪些数据块应该放在哪里,怎么放,什么形状,怎么调节”,就这么简单,底层的数据结构没有变化,变化的就是增加一个策略模块,而且是带外的,根本不影响IO性能。

那么,当Raid2.0遇上全固态存储,会发生什么奇妙反应呢?冬瓜哥在这里就想分析一下这个主题。正如上文所述,Raid2.0是个非常优秀的根基,其灵活的数据排布不仅仅可用于加速重构,而且还可以用于其他更强悍的功能,比如上文中提到的可视化存储智能应用感知方案,再比如,全局的磨损均衡

宏杉科技的MS7000AF全固态存储系统中就充分的将Raid2.0与固态存储系统的性能、寿命优化相结合了起来。


         宏杉科技是国内第一个将Raid2.0技术落地在全系列闪存产品(MS7000、MS5000、MS3000、MS2500)中的厂商, 其对应的商品名称为CRaid技术,也就是基于Cell的Raid。条带(图中DiskChunk Group)不再绑定硬盘,而是可以浮动在任意数量(必须大于最好远大于条带块的数量)硬盘的上方,多个DCG组成Cell。


那么Raid2.0技术又是如何实现全局磨损均衡的呢?关键就在于Raid2.0底层的灵活数据布局,任何Cell可以位于任何地点,那也就意味着,任何Cell可以被写入任何SSD,同时对上层透明,应用主机看到的只是一个逻辑存储空间,而看不到底层实际物理块的存放位置。存储系统采用一个大表来记录逻辑块与物理块的映射关系。那么,MS7000AF存储系统自然就可以根据系统内全局范围内的SSD盘的寿命、状态、性能表现等来决定逻辑资源所体现出来的各种属性QoS,方法就是将数据块有策略的、有选择性的分布在正确、合适的地点,以及分布在合适的底层物力资源跨度上,从而保证了性能、寿命的均衡。这与冬瓜哥的“可视化存储智能”中的核心思想又一次不谋而合。

其次,MS7000AF系统可以充分利用系统内的大容量缓存,实现Write Back模式的写缓冲,并将乱序不同块大小的数据整合成完整条带,同时写入到后端多块SSD盘中,然后记录重映射关系,从而充分提升系统的并发度。这再一次得益于Raid2.0天生的灵活数据分布底层框架,实现上述这一点不费吹灰之力。

此外,宏杉科技MS7000AF固态存储系统还在底层硬件上做了专业的优化来专门适配全固态场景。我们知道,传统的存储系统后端通路一般只有x4 SAS宽端口,也就是每个控制器通过x4通道的SAS链路连接到JBOD,这条x4链路会极大的限制固态盘的性能。我们知道,宏杉科技的存储系统的一大特色就是后端采用SAS全共享架构,JBOD拥有8条x4宽端口用于上联到控制器,充分释放了后端SSD的性能。这一点则是其他基于SAS/SATA SSD所构建的全固态存储的硬伤之一。        


         此外,为了便于用户选择,MS7000AF有两种运行模式可选,第一种是全功能模式,其中会包含快照、复制、Thin、重删/压缩、镜像、双活等;第二种是性能模式,系统内会将上述功能关闭,在IO路径中完全Bypass,从而降低时延,提升整体性能。


其他相关阅读(点击可直接进入):

《【冬瓜哥画PPT】最完整的存储系统接口/协议/连接方式总结》

《【冬瓜哥论文】 原子写,什么鬼?!

《固态存储到底怎么做Raid?

【冬瓜哥论文】浅析固态介质在存储系统中的应用方式


原创粉丝点击