储存域网络SAN导论与基本结构

 

 

存储域网络（Storage Area Network）的支撑技术是Fibre ChannelFC)技术，这是ANSI为网络和通道I／O接口建立的一个标准集成。支持HIPPI，IPI，SCSI，IP，ATM等多种高级协议，它的最大特性是将网络和设备的通讯协议与传输物理介质隔离开．这样多种协议可在同一个物理连接上同时传送，高性能存储体和宽带网络使用单I/O接口使得系统的成本和复杂程度大大降低。如通过Switch扩充至交换仲裁复用结构则可将用户扩至很多。FC使用全双工串行通讯原理传输数据，传输速率高达1062.5Mbps，Fibre Channel的数据传输速度为100MB／S，双环可达200MB／S，使用同轴线传输距离为30米，使用单模光纤传输距离可达10公里以上。光纤通道支持多种拓扑结构，主要有：点到点（Links）、仲裁环（FC-AL）、交换式网络结构（FC-XS）。点对点方式的例子是一台主机与一台磁盘阵列透过光纤通道连接；其次为光纤通道仲裁环(FC-AL)，在FC-AL的装置可为主机或存储装置。第三种FC-XS交换式架构在主机和存储装置之间透过智能型的光纤通道交换器连接，使用交换架构需使用存储网络的管理软件。

　　FC技术具有以下优越性：

　　（1）既具有单通道的特点，又具有网络的特点，它是把设备连接到网络结构上的一种高速通道。而这种网络结构描述了连接两套设备的单条电缆以及连接许多设备的交换机产生网状结构。

　　（2）光纤通道最大优点是速度快，它可以给计算机设备提供接近于设备处理速度的吞吐量。

　　（3）协议无关性，它有很好的通用性，是一种通用传输机制。适用范围广，可提供多性价比的系统，从小系统到超大型系统，支持存在的多种指令集，如IP、SCSI、IPI。

　　光纤通道规范定义的速率最高可到4Gbps，目前T11工程组对10Gbps传输速度的FC规范也在紧锣密鼓的制定之中。

　　FC是一种分层结构，每个层次定义为一个功能级，但是所分的层不能直接映射到OSI模型的层上。FC通道的五层定义为：物理媒介和传输速率、编码方式、帧协议和流控制、公共服务以及上级协议（ULP）接口。

　　1) FC-0：

　　FC-0是物理层底层标准。FC-0层定义了连接的物理端口特性，包括介质和连接器（驱动器、接收机、发送机等）的物理特性、电气特性和光特性、传输速率以及其它的一些连接端口特性。物理介质有光纤、双绞线和同轴电缆。带有ECL的铜芯同轴电缆，用于高速、短距离传输。双绞线用于25MB/s数据传输，距离可达50米。带有激光和LED传导的光纤，用于长距离的传输，光纤通道的数据误码率低于10E-12，它具有严格的抖动容许规定和串行I/O电路能够进行正常管理的其他一些电气条件。

　　2) FC-1（传输协议）

　　FC-1根据ANSI X3 T11标准，规定了8B/10B的编码方式和传输协议，包括串行编码、解码规则、特殊字符和错误控制。传输编码必须是直流平衡以满足接收单元的电气要求。特殊字符确保在串行比特流中出现的是短字符长度和一定的跳变信号，以便时钟恢复。8B/10B码在现实中的应用是稳定和简单的。

　　3) FC-2（帧协议）：

　　FC-2层定义了传输机制、包括帧定位、帧头内容、使用规则以及流量控制等。光纤通道数据帧长度可变，可扩展地址。用于传输数据的光纤通道数据帧长度最多达到2K，因此非常适合于大容量数据的传输。帧头内容包括控制信息、源地址、目的地址、传输序列标识和交换设备等。64字节可选帧头用于其它类型网络在光纤通道上传输时的协议映射。光纤通道依赖数据帧头的内容来引发操作，如把到达的数据发送到一个正确的缓冲区里。

　　4) FC-3（公共服务）：

　　提供高级特性的公共服务，即端口间的结构协议和流动控制，它定义了三种服务：条带化（Striping）、搜索组（Hunt　Group）和多播（Multicast）。条带化的目的是为了利用多个端口在多个连接上并行传输，这样I/O传输带宽能扩展到相应的倍数。搜索组用于多个端口去响应一个相同名字地址的情况，它通过降低到达"占线"的端口的概率来提高效率。多播用于将一个信息传递到多个目的地址。

　　5) FC-4（ULP映射）：

　　它是光纤通道标准中定义的最高等级，固定了光纤通道的底层跟高层协议（ULP）之间的映射关系以及与现行标准的应用接口，这

里的现行标准包括现有的所有通道标准和网络协议，如SCSI接口和IP、ATM、HIPPI等。

　　整个FC的分层体系结构如下表：

　　

光纤信道和光纤信道协议 （FC & FCP：Fibre Channel and Fibre Channel Protocol）

　　FCIP：在IP上传输的光纤信道数据帧 （FCIP：Entire Fibre Channel Frame Over IP）

　　iFCP：Internet 光纤信道协议 （iFCP：Internet Fibre Channel Protocol）

　　iSCSI：Internet 小型计算机系统接口 （iSCSI：Internet Small Computer System Interface）

　　iSNS：Internet存储名称服务 （iSNS：Internet Storage Name Service）

　　NDMP：网络数据管理协议 （NDMP：Network Data Management Protocol）

　　SAS：串行 SCSI （SAS：Serial Attached SCSI）

　　SCSI：小型计算机系统接口 （SCSI：Small Computer System Interface）

　　相关协议 LAN、WAN、TCP/IP

　　组织来源 存储区域网络协议由 IETF、ANSI 和 ISO 定义。

　　相关链接 http://www.redbooks.ibm.com/redbooks/SG245470.html：Storage Area Network

　　SAN是计算机信息处理技术中的一种架构，它将服务器和远程的计算机存储设备（如磁盘阵列、磁带库）连接起来，使得这些存储设备看起来就像是本地一样。和SAN相反，NAS使用基于文件（file-based）的协议，如NFS、SMB/CIFS等，在这里仍然是远程存储，但计算机请求的是抽象文件中的一部分，而不是一个磁盘块。

　　SAN (Storage Area Network－存储区域网络):

　　将不同的数据存储设备连接到服务器的快速、专门的网络。

　　可以扩展为多个或远程站点以实现和备份和存档存储。SAN采用光纤通道(Fibre Channel)技术，通过光纤

　　通道交换机连接存储阵列和服务器主机，建立专用于数据存储的区域网络。SAN经过十多年历史的发展，

　　已经相当成熟，成为业界的事实标准。SAN存储采用的带宽从100MB/s、200MB/s，发展到目前的

　　1Gbps、2Gbps。

　　SAN专门用于提供企业商务数据或运营商数据的存储和备份管理的网络。因为是基于网络化的存储，SAN

　　比传统的存储技术拥有更大的容量和更强的性能。通过专门的存储管理软件，可以直接在SAN里的大型主机、

　　服务器或其他服务端电脑上添加硬盘和磁带设备。现在大多数的SAN是基于光纤信道交换机和集线器的。

　　

能分拆的思想，提高了系统的灵活性和数据的安全性。SAN以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有较高传输速率的光通道连接方式，提供SAN内部任意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。在多种光通道传输协议逐渐走向标准化并且跨平台群集文件系统投入使用后，SAN最终将实现在多种操作系统下，最大限度的数据共享和数据优化管理，以及系统的无缝扩充。SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不是在直接访问SAN的网络，因此这就造成SAN在异构环境下不能实现文件共享。为了很好的理解SAN，我们可以通过图来看其结构。

　　我们可以看到，SAN的特点是将数据的存储移到了后端，采用了一个专门的系统来完成，并进行了RAID数据保护。

　　

Fibre Channel 跟 SCSI 有何不同?

　　

A2. SAN 是架构在 Fibre Channel Standard 的储域网络，Fibre Channel 改善了许多SCSI 的限制，从下面表格可以看到 Fibre Channel 和 SCSI的差异：

　　Q3.SAN 有什么优点 ?

　　A3. a.分享资源存取与设备 - Disk and Tape。

　　b.高速度、距离长，可提高资料的可使用率。

　　c.可作 Remote Mirror增加灾难防御力及重建速度。

　　d.透过 SAN 备份，降低经过LAN备份的Traffic负载。

　　e.集中管理与整合储存设备资源。

　　f.FC-Loop 可连接127 个Device，不需要Shutdown Server ，即可扩充储存容量，SAN

　　解决方案具备良好扩充性。

　　　Q4.为什么要规划 SAN ? 什么样的环境需要 SAN ?

　　A4.如果储存资料的成长率持续增高，近两年内可能成长至1 TB以上，建议规划 SAN

　　Ready 的储存设备，包括 RAID 及 Tape Library，因为资料量扩增，必定增加硬盘

　　数量，但 SCSI 的RAID 有 ID 及 Cable 长度的种种限制，在扩充性来说，无法达到

　　需求及稳定度的要求，而且当资料量愈来愈大，可能分享给更多 Client，绝不容许

　　机器有Shutdown的时间，而 SAN Ready 的 RAID 可以让机器在不 Shutdown 的状况

　　下扩充硬盘容量，维持系统不停的正常运作。

　　　Q5.我要如何选购 SAN 的产品？

　　A5.当公司规划 SAN的架构时，除了SAN Ready 的 Fibre Channel RAID 及备份的

　　Tape Library，还有下面这些设备是必需选购的：

　　a.Host Bus Adapter - 依连接的作业平台选择 Fibre Channel Card 的种类，装置在主

　　机中，连接 Storage、Fibre Channel Hub 或 Switch。

　　b.Fibre Channel Hub - 可将储存设备分享给多台服务器。

　　c.Fibre Channel Switch - 如果要将储存设备分享给不同平台的操作系统，或要作

　　SAN 的Security 进阶控管及连接多个 Fibre Channel Hub，须购买此设备及控管

　　软件。

　　d.Fibre Channel Cable 及 GBIC - 依主机及储存设备的连接长度选购Cable，Cable 有分 Optical 及 Copper 两种线材，决定使用哪一种 Cable 后再选择 GBIC 的种类，

　　以符合 Cable Connector 的连接型态。

　　e.Fibre Channel /SCSI Conventer - 若有些储存设备是 SCSI界面，要连接上 SAN的

　　设备，则需购买FC/SCSI的讯号转接器。

　　

　　　Q6.SAN 对备份系统有何影响 ?

　　A6.现在一般普遍的备份架构皆是透过网络来作集中备份，但是网络的速度一直是备份

　　速度的主要瓶颈，针对一些资料量大的服务器，适合将数据传输从 LAN转移至

　　SAN ，让 LAN 的频宽留给 AP 来使用，避免影响服务器正常运作，增加备份及资料

　　回存的速度。

　　　Q7.SAN 有哪些连接方式 ?

　　A7.SAN是一个总括的组合名词，目前已被用来定义几乎是任何连接主机与储存设备的

　　架构，例如host-hub-storage，或host-SCSI switch-storage以及host-fibre switch-

　　storage 等不同连接方式，SAN 连接拓扑分为 Point-to-Point Topology、Loop

　　Topology、Switch Topology。

　　

DAS）、网络直连存储 （NAS）、和存储区域网络（SAN）。正如你所期望的，每个选项都会满足特定的需要，并且每个选项都会有自己的优点和缺点，在作出决定之前你需要权衡一下利弊。

　　下面将详细的讨论每个存储选项。

　　直连存储

　　任何曾经接触过服务器的人都会对DAS比较熟悉。DAS是一种将存储介质直接安装在服务器上或者安装在服务器外的存储方式。例如，将存储介质连接到服务器的外部SCSI通道上也可以认为是一种直连存储方式。

　　DAS已经存在了很长时间，并且在很多情况下仍然是一种不错的存储选择。由于这种存储方式在磁盘系统和服务器之间具有很快的传输速率，因此，虽然在一些部门中一些新的SAN设备已经开始取代DAS，但是在要求快速磁盘访问的情况下，DAS仍然是一种理想的选择。更进一步地，在DAS环境中，运转大多数的应用程序都不会存在问题，所以你没有必要担心应用程序问题，从而可以将注意力集中于其他可能会导致问题的领域。

　　然而，DAS并不是总是具有美好的一面。首要的一个问题是IT经理必须要经常面对所谓的"空间问题"问题，这些问题需要考虑以下常见的方面：

　　对于一个新的服务器，我需要多少存储空间？

　　如果物资不充沛但需要增加空间时我应该如何做？

　　目前市场上的一些选项可以帮助你减轻与这些问题相关的存储负担，但是不管怎样，你也需要对这种存储方式进行一次较好的评估，否则的话，你对存储所做的扩展将只是一个没有预测的表面上的需要。

　　另外，你还需要管理几乎所有基于服务器的DAS系统，这意味着你需要在适当的位置上有一个监控服务器上每个物理单元的磁盘使用率工具。大多数的IT经理都不希望其磁盘空间在工作日的中间出现不够用的情况。

　　在很多情况下，DAS是一种理想的选择：

　　如果你的存储系统中需要快速访问，但是公司目前还不能接受最新的SAN技术的价格时或者SAN技术在你的公司中还不是一种必要的技术时，这是一种理想的选择。

　　对于那些对成本非常敏感的客户来说，在很长一段时间内，DAS将仍然是一种比较便宜的存储机制。当然，这是在只考虑硬件物理介质成本的情况下才有这种结论。如果与其他的技术进行一个全面的比较--考虑到管理开销和存储效率等方面的因素的话，你就会发现，DAS将不再占有绝对的优势。

　　对于那些非常小的不再需要其他存储介质的环境来说，这也是一种理想的选择。

　　网络直连存储

　　有时候，你必须将一些可以让很多用户来访问的存储空间放在网络中，并且他们有可能每天都要访问这些存储空间。那么，你可以使用网络直连存储（NAS）这种解决方案。一般说来，NAS的安装工作非常简单。和DAS一样的是，对于特定的任务，你必须要回答一些基本问题，如对于该任务你需要多大的存储空间等。和DAS不一样的是，在你需要增加额外的容量的时候，你可以很容易的扩展NAS设备。例如，通常可以使用的DAS设备最大可以达到2TB的容量，但是，市场上的一些NAS设备却可以扩展到200TB的容量。除了少数例外情况以外，对于那些仅仅需要将存储空间放在网络中来解决问题的情形来说，一个NAS是非常完美的选择。

　　对于这个经验法则来说，还是有很多的例外情形：非常重要的一点是，在那些对数据需要进行块级访问的情况中，例如对数据库存储和 Exchange信息存储来说，使用NAS就不是一种很合适的解决方案。确实有一些NAS支持这些过程，但是这只是强制让某个工具适合某项特定工作的一个例子而已。其次，在你真的需要高速访问服务器上的存储空间时，NAS也许不是很适合你的需要，因为所有的数据都需要转移到网络中去，因此访问的速度将受到你的网络速度的限制。

　　在以下两种情形中，NAS设备真的让人感到眼前一亮：首要的是网页服务，第二种情形也是非常相近的情形，是常用文件的存储。这两种应用都需要大量的磁盘空间，但是很少要求直接对服务器进行数据访问。相反，通过这两种类型的存储访问的大多数数据都是通过网络来实现的，所以究竟这些数据是来自于NAS硬件还是来自于DAS硬件就变成了一个无关紧要的问题。

　　还有更好的理由可以来说明NAS设备真的非常适合于网页服务和文件服务，而不适合于数据库存储和Exchange存储。这确实与所谓的文件级数据访问和块级数据访问有关系。在文件级访问系统中，数据的访问是通过文件名字来实现的，因为文件名字是带有一定含义的。而在块级访问系统中，数据的访问是通过数据块的地址来实现的，这个地址是特定数据存放的位置。在一个客户机/服务器的环境中，如果你需要从文件服务器读取一个文件时，你要指定文件，服务器完成数据块的读取工作，并且将得到的数据返回给你就可以了。数据库存储和Exchange存储在这种方式的通信过程中存在着很多问题。所以他们并不适合存储于NAS设备中。使用DAS和SAN解决方案中提供的块级访问可以更为有效的实现数据库存储和交换存储中的数据访问。

　　虽然在需要将存储空间放在网络时，NAS是一个非常伟大的解决方案，但是，NAS也还有一些不足：

　　在拥有相同的存储空间时，它的成本比DAS要高很多。

　　对于数据库存储和Exchange存储这种要求高使用率的任务来说，不是很适合。

　　获得数据的最大速率受到连接到NAS的网络速率的限制

　　在存储基础设施中存在潜在的结点故障的可能。

　　存储区域网络

　　作为存储解决方案中的重要一员，SAN是最昂贵的存储选项，同时也是最复杂的选项。然而，虽然SAN在初始阶段需要投入大量的费用，但是SAN却可以提供其他解决方案所不能提供的能力，并且可以在合适的情形下可以为公司节约一定的资金。

　　如今的SAN解决方案通常会采取以下两种形式：光纤信道以及iSCSI 或者基于IP的SAN。光纤信道是SAN解决方案中大家最熟悉的类型，但是，最近一段时间以来，基于iSCSI的SAN解决方案开始大量出现在市场上，与光纤通道技术相比较而言，这种技术具有良好的性能，而且价格低廉。

　　SAN真正的综合了DAS和NAS两种存储解决方案的优势。例如，在一个很好的SAN解决方案实现中，你可以得到一个完全冗余的存储网络，这个存储网络具有不同寻常的扩展性， 确切地说，你可以得到只有NAS存储解决方案才能得到的几百T字节的存储空间，但是你还可以得到块级数据访问功能，而这些功能只能在DAS解决方案中才能得到。对于数据访问来说，你还可以得到一个合理的速度，对于那些要求大量磁盘访问的操作来说，SAN显得具有更好的性能。利用SAN解决方案，你还可以实现存储的集中管理，从而能够充分利用那些处于空闲状态的空间。更有优势的一点是，在某些实现中，你甚至可以将服务器配置为没有内部存储空间的服务器，要求所有的系统都直接从SAN（只能在光纤通道模式下实现）引导。这也是一种即插即用技术。

　　SAN确实具有这些伟大的优点，那么，SAN的缺陷在哪里？SAN有两个较大的缺陷：成本和复杂性，特别是在光纤信道中这些缺陷尤其明显。使用光纤信道的情况下，合理的成本大约是1千兆或者两千兆大概需要五万到六万美金。从另一个角度来看，虽然新推出的基于iSCSI的SAN解决方案大约只需要两万到三万美金，但是其性能却无法和光纤信道相比较。在价格上的差别主要是由于iSCSI技术使用的是现在已经大量生产的吉比特以太网硬件，而光纤通道技术要求特定的价格昂贵的设备。

　　图表

　　在做出决定要使用哪一种存储解决方案时，很重要的一点是你的手头有多少可用的信息。在没有考虑你所使用的具体环境的情况下，本文作为解释不同类型的存储解决方案的一个初级读本，并且试图帮助你在做出决定时能够有一个正确的方向。作为总结，我在下面给出一个可以进行快速比较的图表，通过这个图表，你可以比较和对照不同类型的存储解决方案的优缺点。在这个图表中，SAN分成iSCSI和光纤通道两种类型，以帮助你区分这两种技术的不同。

　　

SAN与NAS

　　NAS 结构和SAN最大的区别就在于NAS有文件操作和管理系统，而SAN却没有这样的系统功能，其功能仅仅停留在文件管理的下一层，即数据管理。从这些意义上看,SAN和NAS的功能互为补充，同时SAN的服务器访问数据的时候不会占LAN的资源，但是NAS结构的服务器都需要和文件服务器进行交互，以取得自己请求的数据，因此，NAS结构在速度慢的LAN（如10/100M网络）上几乎不具有任何优势和意义。由于G位和10G位以太网的出现，使得NAS结构的这一缺陷自然消失，NAS方案一下子就获得了巨大的生命力和发展空间。同时SAN和NAS相比不具有资源共享的特征，因此SAN最近越来越感觉到了NAS的巨大冲击力。

一、 NAS网关连接NAS与SAN间的桥梁
　　

 

SAN和NAS并不是相互冲突的，是可以共存于一个系统网络中的，但NAS通过一个公共的接口实现空间的管理和资源共享，SAN仅仅是为服务器存储数据提供一个专门的快速后方通道，在空间的利用上，SAN和NAS也有截然不同之处，SAN是只能独享的数据存储池，NAS是共享与独享兼顾的数据存储池。因此，NAS与SAN的关系也可以表述为：NAS是Network-attached（网络外挂式），而SAN是Channel-attached（通道外挂式）。

由于费用低廉以及部署便捷等好处，NAS设备受到IT经理的青睐，迅速在企业中得到广泛的应用。但是这种灵活性是要付出代价的：出现的存储孤岛越多，存储管理任务就变得越复杂。因此，许多公司部署了存储区域网来整合存储环境。

 

　　由于费用低廉以及部署便捷等好处，NAS设备受到IT经理的青睐，迅速在企业中得到广泛的应用。但是这种灵活性是要付出代价的：出现的存储孤岛越多，存储管理任务就变得越复杂。因此，许多公司部署了存储区域网来整合存储环境。

　　NAS网关通过将IP网络连接到基于光纤通道的存储上，架起一座连接NAS与SAN世界的桥梁。这种高度优化的文件服务器帮助企业更好地保护了存储投资。

　　NAS网关不仅提供了一种高性价比的整合方法，而且降低了向SAN基础设施添加新NAS应用的费用。

　　部署连接SAN存储的NAS网关使管理人员能够将光纤通道和ATA等不同类型的存储阵列及多层存储整合在一起，增强灵活性与可伸缩性，提供更高的性能。与传统存储专用设备不同，NAS网关不受设备中所采用的存储技术的限制，可以访问SAN上的多种高性能存储阵列的资源。

　　NAS网关使IP连接的客户机可以以文件的方式访问SAN上的块级存储。它通过标准的文件共享协议(如NFS和CIFS)处理来自客户机的请求。

　　当网关收到客户机请求后，将该请求转换为向存储阵列发出的块数据请求。存储阵列处理这个请求，并将处理结果发回给网关。然后网关将这个块信息转换为文件数据，再将它发给客户机。对于最终用户来说，这个过程是无缝和透明的。

　　NAS专用设备与网关之间的区别在于它们与存储连接的方式。NAS专用设备直接与安装在专用设备中的存储连接。

　　而与IP网络连接的NAS网关连接在一台光纤通道交换机上，交换机则连接到光纤通道存储阵列上。利用这种方法，NAS网关可以访问SAN上连接的多个存储阵列中的存储资源。

　　从网关到SAN的物理连接经过网关中的1Gbps或2Gbps光纤通道主机总线适配器。主机总线适配器使用光纤连接到SAN上的光纤通道交换机。交换机同时连接在存储子系统上。

　　一旦NAS网关物理地连接在SAN上，管理人员就必须从存储阵列为网关配置合适分区。多数情况下，存储端口可以在NAS网关与SAN上的其他应用服务器之间共享。

　　NAS网关由于支持不同的SAN连接设备，混合搭配多层存储并且使用已有的管理工具管理SAN数据，因而优化和延长了存储资源的使用寿命。因此，用户可以降低管理费用，避免不必要的硬件采购，提高SAN连接的存储阵列高端特性利用率