SAN Design –存储局域网络设计实例

 

一、前言：

存储局域网络（SAN）的设计，主要需要考虑网络的冗余、性能和可扩展性。根据具体设备和资金情况，需要确定SAN的拓扑结构，是采用完全连接、核心-边缘连接，还是三角形连接需要具体分析。本文主要以实例的方式介绍一下SAN设计中需要考虑的因素。

 

二、背景介绍：

本实例的背景是：新机房装修完毕，旧机房中的大量设备（主机、服务器、存储）将搬迁至新机房。本方案是新机房存储局域网络的设计方案。

 

三、旧机房存储局域网络现状：

目前，旧机房中的存储局域网络基本上处于“SAN孤岛”的状态，各个应用项目采购的存储设备及交换机各自独立。这样的结构不利于管理，也不利于数据备份，需要整合成一个统一的SAN网络。主要应用项目的SAN如下：

1．  核心业务系统:

 

其中，EMC DMX1000是核心业务生产系统使用的存储设备，它与EMC8530之间做SRDF数据同步。在DMX1000和8530内部也分别有BCV本地数据同步。生产系统使用的是两台Brocade 3900（32个2Gb端口）光纤交换机Switch_11和Switch_21。VSQL1和VSQL2是两套Microsoft SQL Cluster。3台P690分别做了2个逻辑分区，形成6台逻辑服务器，其中DB3、DB4、DB5构成了运行系统Oracle RAC集群的三个节点，DB1是OLAP数据分析系统的数据库，DB2用于管理SRDF，DB6暂时未用。另外两台Brocade 3900光纤交换机SRDF1和SRDF2构成了后备系统，供SRDF和后台库使用。所有服务器通过1GB光纤连接到Bracade 6400交换机上，访问L700磁带库，实现数据备份。总体上，核心业务系统各交换机互不相连，形成5个独立的Fabric，数据备份与存储访问相互独立。

 

2．  OA系统：

OA系统有一台FAStT700存储，两台Brocade 3800（16个2Gb端口）光纤交换机SW03、SW04组成了存储局域网络。SQL5和SQL6组成的Microsoft SQL Cluster VSQL3为OA系统数据库。周边应用的两台服务器APPDB1和APPDIS1也连接到SAN上访问FAStT700存储。DB8为Oracle服务器。OA系统目前的数据备份还不能通过存储局域网络（SAN）进行，而是通过IP通讯网络进行，磁带库是IBM3583。另外，OA系统扩容后，还要增加三台服务器访问FAStT700存储。

 

3．  订单分析系统：

 

订单分析系统包括两台Brocade 3900交换机，一套EMC CX400存储，SQL7和SQL8组成的SQL Cluster VSQL4为订单分析系统的SQL数据库服务器。

 

四、近期存储设备的增长：

目前，可预知的存储设备增长：

1．  OA系统扩容，FAStT700会扩容，同时增加3台微机服务器访问存储。

2．  订单分析系统还会新购置一套CX500(或类似存储)，同时增加3台微机服务器访问存储。

3．  核心业务系统会增加2台IBM P650服务器和2套刀片服务器，都需要访问存储设备。

 

五、设计目标：

1．  SAN交换机端口总数要满足现有存储设备、服务器、磁带库等设备的需求，同时要考虑2年内端口数的增长。

2．  整合现有SAN孤岛到一个统一的SAN网络，同时保证SAN网络的容错性，可扩充性。

3．  保证服务器访问存储设备本地化，尽量减少跨交换机的访问。

4．  使原来OA系统、订单分析系统等项目也可以通过SAN进行数据备份。

5．  尽量利用现有交换机设备，即设备利旧。

 

六、新机房存储局域网络设计：

1．  拓扑结构图：

整体设计为3个SAN网络：Fabric A，Fabric B，Fabric C，其中Fabric A和Fabric B用来连接主机和存储设备，用于数据访问，Fabric C用来连接主机和磁带库，用于数据备份。任何一台主机或存储设备都同时连接到Fabric A和Fabric B，即使有一个网络瘫痪，另外一个网络也能进行数据通讯，保证了SAN网络的容错性。Fabric A和Fabric B分别由三台Brocade 3900光纤交换机组成，采用三角形拓扑结构，每台交换机间用两条ISL进行连接，保证了交换机间的数据通讯线路的冗余，还可以把两条链路绑定成Trunk，使交换机间有4Gb的交换能力。Fabric C由一台 Brocade 6400组成，6400本身由6台2550交换机组成，内部实现了交换机间ISL的冗余。

 

2．  端口数目：

根据目前的设备数量，及近期要购置的设备，交换机端口需求如下：

存储设备或服务器

2Gb端口

1Gb端口

EMC DMX1000

8（HOST Accescc）+4（SRDF）=12

0

EMC 8530

8（HOST Accescc）+4（SRDF）=12

0

CX400（订单分析系统）

4

0

FastT700

4

0

CX500（OA系统扩容新购）

4

0

L700磁带库

0

6

IBM 3583磁带库

0

2

SQL1

2

1

SQL2

2

1

SQL3

2

1

SQL4

2

1

DB1

2

1

DB2

2

1

DB3

2

1

DB4

2

1

DB5

2

1

DB6

2

1

DB8

2

1

SQL5

2

1

SQL6

2

1

SQL7

2

1

SQL8

2

1

APPDB1

2

1

APPDIS1

2

1

OA系统扩容3台服务器

2 X 3 = 6

1 X 3 = 3

订单分析系统新购3台服务器

2 X 3 = 6

1 X 3 = 3

核心业务系统新购2台P650服务器(分区后是4台逻辑服务器)

2 X 4 =8

1 X 2 X 2 = 4

核心业务系统新购2套刀片服务器

4 X 2 =8

0

合计

98

35

 

现有设计2Gb端口数为 (32 -4) X 3 X 2=168个，Brocade 6400 有64个1Gb端口，能满足目前的端口需求，而且有近一半的端口用于以后SAN的扩展。

 

3．  存储设备本地化：

为了使主机访问存储设备性能最佳，SAN设计应尽量避免存储设备与访问该存储的主机分别处于不同的交换机上。

交换机FabA01和FabB01用于连接核心业务生产系统的设备，包括DMX1000及访问DMX1000的所有主机及服务器。

交换机FabA02和FabB02用于连接核心业务后备系统的设备，主要是DMX1000和8530的SRDF端口及8530的主机访问端口，和访问8530的主机及服务器。

交换机FabA03和FabB03用于连接OA系统和订单分析系统的存储FastT700和EMC CX400，及CX500和访问他们的主机和服务器。

另外，随着设备数量的增长，交换机FabA02和FabB02也可以连接一些非核心业务系统使用的存储设备，因为这两台交换机上的设备比较少。

 

4．  数据备份问题：

OA系统、订单分析系统等以前无法实现SAN备份的项目，现在可以通过SAN进行备份，可以使用L700E进行数据备份，也可以通过IBM 3583进行备份。原则上L700E用于核心业务系统的备份，IBM3583用于OA系统和订单分析系统的备份，但IBM3583容量有限，可以根据数据量的大小分配备份任务。

 

5．  利用现有交换机设备：

现有6台Brocade 3900光纤交换机，因为搬迁过程中需要在旧机房保留2台，为了实施本设计方案，需要再购买2台Brocade 3900光纤交换机。另外，所有交换机都需要购买Trunking License。