“FCoE全解系列”之融合网络方案和典型组网

      在IP SAN和FC SAN网络融合之前，网络复杂、LAN/SAN独立部署、扩展困难且能效比低，服务器上至少配置4-6块网卡，增加功耗。 融合之后网络简化，LAN/SAN融合、统一交换且降低TCO，服务器配置CNA融合网卡。

      服务器通过融合网卡接入到FCoE交换机。FCoE交换机对以太业务和FC业务进行分流，通过FIP协议，由交换机完成用户的FCoE的初始化，分配FCID和MAC地址。

      这种统一的数据中心架构中，一个单一的高性能架构就能满足IP，存储和服务器间有效载荷的要求，他带来的好处包括: 

1. 更少的硬件和更简单的管理: 每个服务器只需要一对网卡(对网卡是为了安全冗余)，而不是2个网卡和两个FC HBA卡，只需一套交换机而不是两套交换机，而且只需管理一个数据中心。

2. 更高的灵活性和可靠性: 统一的架构是实现下一代虚拟化数据中心架构的关键因素，在这种架构中，服务器、存储和其他资源都可以动态分配，以适应变化中的工作负荷和新的应用程序，而且无需进行频繁的物理设备变动。对于数据中心虚拟化和自动化，这种架构是非常好的。

3. 更低的电能消耗: 更少的网卡、网线和交换机就意味着更低的电能消耗。将部件总数减少一半能够带来可观的能耗降低。

FCoE技术部署模式

      FCoE技术在网络中有两种部署模式(接入层/核心层部署FCoE)如图所示，另外还支持VN2VN部署(不需要FCoE交换机，存储和服务器通过CNA卡直接相连)。

       FCoE只部署在服务器网络接入层。目的是实现服务器I/O整合，简化服务器网络接入层的线缆设施。服务器安装支持FCoE的10GE CNA网卡，并连接到接入层FCoE交换机(FCF或NPV)，接入层交换机再分别通过10GE链路和FC链路连接到现有的LAN和SAN。

       整网端到端(接入—汇聚—核心)的FCoE部署。FCoE技术的应用范围扩大到整网，除接入层交换机外，汇聚核心层交换机也支持FCoE功能；除服务器外，存储设备也逐渐支持FCoE接口。由此实现了LAN与SAN的融合，简化了整网基础设施。

     在目前来看，业界还没有出现较为成熟的支持全网端到端FCoE部署的方案和产品，FCoE的网络接入层部署是当前的主要应用模式。此外，从保护用户现有投资(已建设的FC SAN)角度出发问题，也建议现阶段只在网络接入层通过FCoE实现服务器IO整合，简化接入层线缆部署，而保留原有LAN骨干与原有FC SAN骨干的独立性。

网络接入FCoE设计

      FCoE技术是将FC帧封装在以太网帧中，允许LAN和SAN的业务流量在同一个以太网中传送。对于FCoE网络设计，应从网络模型的五要素着手考虑。

拓扑结构

      服务器端安装CNA接口卡(10GE/CEE)，同时承担以太网 “主机”和FC SAN“Initiator”角色。服务器操作系统将CNA接口卡当做两个硬件设备(FC HBA和以太网NIC)进行配置管理。所以对操作系统而言，可以不考虑FCoE的存在。

      交换机的FCoE端口(ETH1/0/1)上承载三类VLAN：服务器VLAN(承载普通以太网报文)、存储VLAN(承载FCoE数据报文)、FIP VLAN(承载FCoE初始化协议报文)。服务器到FCoE交换机的报文中，FCoE数据报文采用TAG方式，FIP报文和普通以太网报文采用UNTAG方式。

      FCoE数据报文对应的VLAN ID，由FIP协议与FCoE交换机协商获得。在部署时，应将交换机的FCoE端口配置成Hybrid类型，允许存储VLAN报文以TAG方式通过，服务器VLAN报文和FIP报文以UNTAG方式通过，并将该端口的PVID设置为服务器VLAN的VID。当该端口收到除FIP协议以外的其它UNTAG报文时，将在服务器VLAN内转发该报文。这里将FIP VLAN配置成“协议VLAN模式”，是为保证服务器在获取存储VLAN的VID前，FIP协议能够通过“协议VLAN”完成FCoE初始化过程。

      接入层FCoE交换机在正常转发时，来自服务器的FCoE数据报文，通过存储VLAN(TAG方式)转发到交换机的NPV插卡，并通过NPV插卡的FC端口上行到FC SAN。而来自服务器的普通以太网报文则按正常流程转发(ETH1/0/10是接入交换机的ETH LAN上行端口)。所以，就接入层FCoE交换机而言，主要功能是将从服务器端接收的报文进行LAN业务与SAN业务分离。

高可用性

      传统FC SAN与传统以太网LAN在高可用性设计思路有很大差异。以太网通过全连接和全冗余实现高可用，而FC SAN则通过多个独立的纵向网实现多路径负载分担和高可用性。因此，在进行网络高可用性设计时，应将FCoE网络中的SAN业务与LAN业务分开考虑，并应用不同的设计思路。

      一个具备高可用性的FCoE网络，分别由具备高可用性的FC SAN接入网和ETH LAN接入网叠加而成。在FCoE网络中与SAN相关的高可用性设计要点如图。

• 正常情况(图a)：服务器的两个CNA网卡通过两台FCoE接入交换机(SWA、SWB)分别向两个存储网络(SAN A，SANB)进行注册，并借助操作系统中的多路径访问软件实现流量分担。

• 节点故障(图b)：当某台FCoE接入交换机发生故障，或某个存储网络内部发生故障，服务器相应一端的CNA卡将停止FC报文发送，服务器另一个CNA网卡不受连接的SAN网络不受此故障影响，仍可以正常工作。

• 链路故障(图c)：从服务器到存储网络侧，存在两段路径。其中服务器至每台FCoE接入交换机都是单链路连接，当此链路故障，则服务器通过另一侧FCoE链路实现访问。而接入交换机上行到FC SAN的链路可根据情况部署多条链路，所示。多链路情况下一旦其中某条链路故障，原本从该链路进行注册的FCoE服务器将自动切换至其它链路重新进行注册，不会影响业务使用，由此提高整网可用性。

       从LAN的角度看，服务器的两个以太网卡采用NIC-Teaming方式上联接入两台交换机。接入交换机双归属与上行的以太网汇聚交换机，并通过MSTP+VRRP技术实现高可用设计。

       当接入层采用N:1虚拟化(如H3C IRF)技术，将两台接入交换机虚拟化为一台逻辑设备时。服务器的CNA网卡的以太网端口可配置成以端口聚合模式，并与接入交换机采用跨设备聚合部署。但要注意的是，对于CNA的FCoE端口，考虑到FC SAN高可用性对纵向隔离性的要求，不能将FCoE端口进行聚合捆绑部署。

传输可靠性

      传统的以太网是一种尽力服务的网络模式，当网络拥塞时有可能发生丢包，进而导致出现所丢数据包重传或超时现象。FC SAN网络依靠BB_Credit的流控机制，实现无丢包传输。FCoE技术实现以太网帧承载FC帧，因此要求以太网实现无丢包传输机制。

      迄今为止，IEEE 802.1工作组和IETF制定CEE(融合增强型以太网)标准，目的是实现以太网的端到端可靠传输，在FCoE网络设计时，应在SAN业务相关的设备端口上部署CEE特性，以实现无丢包传输。

网络服务

      FCoE的网络服务分LAN和SAN两类。LAN网络服务包括防火墙、服务器负载分担、网流分析等。这些服务通常由LAN汇聚层设备提供。

       SAN网络服务包括DNS(名称服务器)、RSCN(注册状态变化通知)、FDMI (通过带内通信管理HBA卡等设备的机制)等。这些服务通常由FC SAN核心交换机提供。对于FCoE在接入层的部署模式，可以不考虑上述网络服务对网络设计的影响。

流量模型

      在FCoE网络中，SAN业务流量主要存在与纵向(从服务器到存储设备)。因此在设计FCoE网络时，可根据服务器数量和带宽需求，明确定义FCoE接入交换机上行SAN端口收敛比，以此提高SAN网络的传输性能。

相关阅读

• “FCoE全解系列”之增强型以太网技术

• “FCoE全解系列”之网络融合交换机类型
  

温馨提示：
请搜索“ICT_Architect”或“扫一扫”下面二维码关注公众号，获取更多精彩内容。

专注做一个有情怀的技术分享平台