浪潮闪存技术的系统设计

浪潮闪存技术的系统设计

李璀演讲精要

       在PMC主办的“闪存2.0加速数据中心存储变革”论坛上，浪潮集团互联网行业部资深架构师李璀作为特邀嘉宾，和与会者分享了闪存技术日新月异的变革为产业带来的诸多挑战，以及浪潮作为整机系统厂商，如何将闪存的特性及产品融合到整机设计当中的若干思考。

       李璀首先分享了几项产业观察。首先，近一两年间，涌现了前所未有的服务器端存储模块相关的新技术，对服务器整体设计带来了巨大而深远的影响。此外，互联网客户提出了越来越多定制化的要求，包括新浪等等。这些客户通常很了解自己的应用，相比整机厂商，对于性能需求以及SSD与性能的结合了解得更为透彻。而如何将这些理解和需求用整机的方式体现出来则是浪潮思考的问题。

       演讲的第一部分讲述了系统的挑战。目前的通用服务器基本上如图一所示。SSD的设计——无论是SATA、PCIe还是NVMe SSD ——本身都会对系统带来若干比较显著的影响。其一是盘本身的功耗。现在机械硬盘的标准是15瓦。如果支持2.5寸NVMe SSD，硬盘功耗可能飙升至25瓦，对于系统前端本身的供电和散热设备是非常大的挑战。此外，对供电、风扇内部的结构设计都有影响。很多PCIe SSD在老服务器里没法用，因为插上之后卡或者系统就会出现问题，原因就在于散热。新的服务器设计中在这方面会作出重点改善。

图一 系统的挑战

        

       服务器设计中，传统的考虑基本上围绕三大部件：内存、硬盘和CPU。早期的硬盘无非只是容量的变化，原有的设计方案依然可用。而今，新技术如雨后春笋般涌现，自然也带来了崭新的挑战。最早考虑硬盘配置时在SAS或SATA间选择，而普遍接受SATA SSD的原因是系统兼容性最好、可以直接用。采用SATA SSD时需要考虑成本和使用两个方面。如此高性能的硬盘如何与业务结合，从中衍生出很多的故事。比如考虑SSD的风险、如读写次数、单机数据安全等。还有，当SSD使用RAID时，原来的系统瓶颈从硬盘转到了RAID卡。比如说，三块以上硬盘读RAID5的时候，性能就无法再提升，因为RAID卡的性能已经到瓶颈了。此外，还要考虑在更高的性能和数据的安全性之间折中，做出合适的抉择。此时，就会考虑不用RAID，而在软件层面解决数据安全的问题，用NO RAID的模式。在通用的12块盘场景下，全采用SSD成本太高，也不需要这么高的性能，那么是不是可以少用SSD呢？每加一块SSD，IOPS性能都在提升。但加到3块盘以上，发现再增加SSD，IOPS的上升趋势也无法继续了。此时，为了更高的性能，就会考虑配两张HAB卡来提升系统的性能。另一种解决方案则更多考量存储容量的配比问题。目前SATA SSD已经到2T\3T\4T以及日后的6T\8T,客户会选择SSD与机械硬盘混搭，进行数据分级、冷热分开，再搭配上系统做出最优性价比的配置。

       起初，由于习惯采用SAS硬盘，加入SSD时也保留SAS硬盘，即出现了硬盘乱序的问题。这种混合存储刚出现时，硬盘乱序十分常见，对系统厂商提出了很大的挑战。故此提出了软件层的绑定，加上硬件层的修改。通过硬件和软件同时变更的方式，来解决这个问题，使大家可以采用混合硬盘的使用方式，组合成混合阵列。

       SATASSD本身虽然看上去跟系统很兼容，但逐渐进入市场主流的过程也颇为曲折——这也是SSD发展的缩影。SATA SSD普及之后又出现了对NVMe的支持，有关NVMe的测试工作现已普遍开始，考量因素包括价格和协议的稳定性等等。该协议及生态链的完善预期在2015年底，此前更多的将是尝试性的应用。要将之与系统匹配，尚需大量的测试。这是硬盘设计阶段考虑的问题。另一方面，无论是采用2块、4块NVMe盘片，散热都是服务器厂商需要考虑的。

图二  NVMe PCIe SSD

       8639的驾临无疑对硬盘包括PCIe与SSD的发展也是巨大的利好因素。对系统厂商而言，设计选择无非有如下几种。第一种可能是8639直接连到主板，后端与背板相连。NVMe PCIe SSD是电老虎加发烧友，目前更多的是尝试性使用，至于怎样匹配最理想，是否沿袭SATA逐步进化的路线，均尚在讨论当中，目前并无定论。

        李璀随即转向Switch（如图三所示），他戏称其“堪称是大力水手的菠菜”。现在时有耳闻的Switch，当初产生的契机是什么？其实，它也是由于行业发展中，SSD的发展和主机的发展不同步所致。服务器设计过程一直遵循摩尔定律，定型一般要提前一两年。而8639和NVMe出现时，恰处在换代周期的中段，整机已然定型，故而不得不采用转接卡的方式来提供PCIe NVMe SSD的支持。闪存技术发展中，多次以类似的方式，对整机设计产生影响，从而衍生出许多诸如此类的产品。

图三  无处不在的Switch

        Switch对硬盘进行了更多扩展，后端可以连接PCIe SSD，通过Switch,就可以连接许多周边设备，包括此前系统厂商未考虑到的设计方案。浪潮的相应计划涵盖了多个层面。首先，新平台的服务器会全面支持NVMe 2.5寸  PCIe硬盘。此外，图四中展示了其他几个Switch的发展方向。第一是整机和服务器之间通过Switch的方式互联，以扩展整个存储空间的地域。第二是PCIe Switch下挂多个硬盘，类似于网络的部署，通过Switch的方式来扩展硬盘和整机的资源配比和灵活的协调。无论如何，Switch带来的遐想是宽广的，对服务器的影响也很广泛。此种布局下，可以消除服务器前端的硬盘，服务器的整个架构可以大幅变化。Switch是无处不在的，无论是PCIe和SATA SSD，也无疑将显著改善服务器本身的性能和延展性。

图四 Switch的各种应用方式

       接下来李璀谈到PMC新近推出的NVRAM产品（见图五）。该产品有极其突出的优点，如容量及速度等。基于这样的产品，在整机里部署会对客户应用带来何种变化？直接命中客户的要害，通过高容量来淘汰机械硬盘——一剑封喉？亦或仅仅在特定应用场景中提供更好表现的中间缓存——锦上添花？李璀认为，该产品的后期发展存在着这样两个方向。他的希望是NVRAM能一剑封喉，以此带来更大的推进。

图五  PMC  NVRAM 

 

　　存储设备近年的飞速演进是有目共睹的。从传统的机械硬盘到SATA SSD，再到现在的PCIe SSD，变化来得日益迅捷。在当前进行PCIe SSD推广时，更多的考量是应用的需求——如何搭配PCIe SSD和应用才能更好地发挥设备的性能，而提供更为优化的应用？而SSD的未来则在于NVMe，李璀肯定地表示。截至2015年下半年，在包括硬盘厂商、系统厂商加上标准协会等在内的多方面的共同努力之下，生态圈会渐臻完善，届时该项技术的应用势必会突飞猛进。

浪潮对于这项新的闪存技术，也在产品形态上进行了相应的准备，共分为两大类（如图六）。左边是天蝎整机柜的产品，都将全面支持NVMe技术。右图则是通用产品线，也会支持NVMe。对两类产品，热插拔方面都会进行相应的调整。

图六　浪潮的系统方案 

     

       李璀最后表示，对于如浪潮这样的系统厂商而言，面对闪存技术的迅猛发展，应对策略是多方位的。一方面，在闪存细分部件领域里面，希望和PMC和Memblaze这些行业内各具优势的厂商一起合作；另一方面，也会做好更多系统级的准备，更多地将用户的应用需求与特性考虑在设计之内，以期提供性能更为优化的技术来满足市场。