DS5000 红皮书 (Redbook) 笔记 3/4

第12章   Enhanced RemoteMirroring
P423---P498
 
Enhanced Remote Mirroring (ERM)---就是以前的RVM(Remote VolumeMirroring)

▲ Metro Mirroring:是同步的镜像模式

▲ Global Copy:异步写入模式，Asynchronous Mirroring without ConsistencyGroup

▲ Global Mirroring:异步写入模式，Asynchronous Mirroring withConsistency Group

 
在ERM中，第2个logical drive可以是read-only模式
Volumecopy中第2个logical drive也是read-only模式

当暂停Mirror后，第2个子系统将不再从主系统接收任何I/O，叫做Mirroring RepositoryVolume

继续Mirror后，会重新同步改变的数据，而不会全部同步

可随时更改Mirroring Mode，这叫做Dynamic Mode Switching

 

12.1.1 Requirements
ERM需要单独购买license，在每一个DS5000都要安装(Primary site和secondarysite上都要装license)
DS4200/4700支持64个Mirrorpairs   (这是primary 和secondary的总和  P472)
DS4800支持128个Mirrorpairs         (这是primary 和secondary的总和  P472)
DS5000支持128个Mirrorpairs        (这是primary 和secondary的总和  P430)
 
使用ERM，必须强制使用SAN光纤网络：使用光纤交换机或FC-IP路由器  P426
ERM中的光纤连接专用于复制数据，不用于其它I/O

12.1.2 ERM terminology
Primary site:也叫local site
Secondary site:也叫remote site
Primary storage system:也叫local sotrage subsystem
Second storage subsystem:也叫remote storage subsystem

primary 和 secondary之间的型号不必相同     P428

Mirroring Storage Controller Pair
A到A
B到B

 

Mirror Fibre Channel Connection
专用于primary controller到secondary controller之间镜像的I/O连接的光纤通道
不能是直连的
因为在ERM中，必须强制使用SAN来连接
 
ERM中最大的mirrorpairs是指primary和secondary的总和   P430

只有标准的logical drive能够加入镜像关系
secondary logical drive要比primary logical drive大或与之相等
任何logical drive只能属于一个镜像关系

 

在primary中的controller A必须映射到secondary中controller A
B到B

 

当删除primary logical drive，将先删除mirror relationship,再删除primarylogical drive
当删除secondary logical drive,必须先删除mirror relationship，再删除secondarylogical drive

 

Primary logical drive和Secondary logicaldrive能被动态的增大容量(DVE)
Secondary logical drive一定要比Primary logical drive容量大
Mirror repository drive不能被动态的增大容量

 

Primary和Secondary logical drive能被动态的扩充容量(DCE)---就是在阵列中增加硬盘
每次最多增加2个硬盘

 

可动态的改变ERM中的segment size ---(DSS)

 

不能在ERM中动态的改变RAID级别

 

在Primary 和 Secondary logical drive中都可以用 Flashcopy

 

Primary logical drive可以是VolumeCopy的源或目标逻辑设备
但Secondary logical drive不能是Volumecopy 的源和目标逻辑设备

 

Mirror relationship
包含：mirror repository drive和mirroring pairs
建立Mirror relationship之前：
▲ 在存储之间建立适当的FC或Ethernet通讯
▲ 在两个存储上都要enable ERM
▲ 在两个存储上都建立ERM---将建立mirror repository drive
▲ 在secondary上建立等于或大于Primary logical drive的Secondary logicaldrive

12.4.1 Remote Mirror status
P435
各种图标的状态
已完成：绿色
同步中：有一个钟的标识
未同步：有一红色斜线
暂停：  有一黄色闪电

 

---------------------------------------------------------------------------------

不管是哪种Mirror模式，当新建一个Mirror时，会有一个full synchronization

在Secondary logical drive中的数据只能被mirroring process改变

Mirroring mode能够在任何时间被改变---DMS

 

只有primary控制器在mirror repository logical drive里记录log
mirror repository logical drive只记录日志，不存储数据

 

当需要读数据时，只在primary里面读，不会与secondary通信

 

Mirror Repositor logical drive最大支持128个I/O队列
未达到最大之前，状态是synchronized
如果达到最大，则状态为unsynchronized，此时主机仍可以写，但remote site上的写将不会再产生

---------------------------------------------------------------------------------

 

12.5.1 Metro Mirroring (synchronous mirroring)
同步镜像模式

当Primary收到写请求时，先在mirror repository logical drive中logs
同时，写入primary logical drive
控制器在secondary logical drive里开始一个远程写操作
当远程写操作完成后，Primary控制器删除log
最终，控制器发出一个I/O完成的信号给主机

 

12.5.2 Global Copy (asynchronous mirroring without writeconsistency group)
异步写模式
当有写入primary时，立即写入，并报告完成
不保证在primary site上面写顺序与remote site上的顺序相同

 
写请求
---> 控制器在mirror repository logical drive里logs
---> 同时，写入数据
---> 返回一个I/O完成信号
---> 在后台将数据写到secondary site
---> Primary删除log
 
8.5.3 Global Mirroring (asynchronous mirroring with writeconsistency group)
异步写模式
会保护secondary logical drive中写入的顺序：跟踪写入顺序，将其列队并按相同的顺序发送到远程控制器上

 

写数据
---> primary在mirror repository logicaldrive里logs
---> 写入数据
---> 回送一个完成信号给主机
---> 拷贝受影响的数据块到secondary (remote site收到相同的写顺序)
---> 删除日志

 

12.5.4 Data resynchronization process
当remote site的链路中断或者逻辑设备出错
primary将会变成unsynchronized状态，并发送I/O完成信号给主机
主机依然可在primary logical drive写,但在secondary上不会再发生"写"
那些写请求将会存储在Primary的remote repository 里

当连接恢复后，产生一个resynchronization

 

当状态为Unsynchronized/suspended时，主机都能写入primary

 

Unsynchronized和Suspended这两种状态有本质的不同，两种状态时都有发生一个错误，但
当Suspended时，必须手动的改变状态为Synchronized
当Unsynchronized时，可以自动的或者手工的改变状态为Synchronized

 

当重新建立通信时，只有改变的数据块会被发送到remote site

 

只有以下一些情况时，才会建立full synchronization：
▲ new mirror relationship
▲ 镜像关系中的成员全部failure
▲ mirror repository logical drive failure
▲ 通信错误后在mirror repository logical drive里改变了所有的数据块跟踪
▲ 当suspended状态后，在mirror repository logical drive改变了所有的数据块跟踪

 

Manual resynchronization：推荐的方法
Automatic resynchronization：当检测到通信恢复后即自动开始同步

 
12.5.5 Data synchronization priority
共5个级别，只在重新同步时此参数才有用
当改变级别后，同时在primary和secondary中生效
 
12.6 SAN fabric and Ethernet connectivity
必须包含SAN ports, SAN zoning, and cabling considerations

12.6.1 SAN fabric and SAN zoning configuration
SAN fabric configuration：专门的Remote Mirroring ports (A2 and B2 hostside controller ports) must be attached to
a SAN fabric with support for the Directory Service and NameService interfaces.
就是SAN交换机上必须有一个专用的zoning

 

推荐2个以上SAN交换机做高可用性冗余

SAN fabric zoning：强制要有的SAN zoning，建议单独划开

在SAN交换机上，不要使用混合的zoning定义(例如：port和WWPN同时使用)

ERM中要使用最外面的主机端口   P444

 
DS4000 storage server Fibre Channel configuration for ERM
ERM需要2对专门的控制器主机端口连接到每一个存储系统上

▲ 在DS4200/4700/4800中使用最外面一对主机端口来作为Mirror connections
这一对端口不会接收主机I/O请求，仅用于与另一个存储通信之用

 
Fibre Channel distance limits：为两个交换机之间的距离
使用9um单模光纤为10km
    ---距离会与速率冲突，当最大距离时，会自动降速(4G降为2G,2G降为1G)；
    ---当全速4G时，只支持150m距离
使用50um多模光纤为0.5km

 

当使用Global copy和Global mirror两种模式时，支持超过5000km

 

12.6.2 Ethernet management network configuration for ERM
强制要求管理工作站(SMclient)能通过以太网同时访问两个站点(primary和secondary)
因此，两个存储子系统必须设置为一个子网或通过VPN    (DS4000 P491)

 

8.7 Enhanced Remote Mirroring: step-by-step
须购买ERM key，这个KEY是支持所有分区的

Storage Subsystem → Premium Features → List

当状态为Enable/Deactivated时为两个灰色硬盘图标

 
激活ERM  : Storage Subsystem → Remote Mirroring →Activate

之后左下角ERM图标变成绿色

 
不能在RAID0上建立REM    P449
Mirror Repository Logical Drive不能建立在RAID0上

每个存储子系统上会建立2个Miorror repository logical drivee

 

8.7.2 Creating Enhanced Remote Mirroring relationships
不能使用已镜像的LUN作为primary logical drive

 

选一个logical drive ---> Logical Drive → RemoteMirroring → Create
或右键---> Create Remote Mirror

 

Viewing Enhanced Remote Mirroring properties and status
选中一个LUN ---> Logical drive → Properties 或 右键 →Properties
可查看：

同步进度，镜像关系(primary或secondary)

镜像状态---同步完成，同步中，暂停，未同步
同步优先级---最低，低，中，高，最高

 

在profile文件中可看到ERM的相关信息
Summary里面可看到REM的数量
Logcial drives->repositories里可看到Mirrorrepository信息
Logical drives->Mirrors里面可看到REM属性

 

View Associated Components 查看mirror relationship
选中primary logical drive -> View AssociatedElements

 

12.7.4 Changing mirror synchronization settings
只能在primary上改变属性，不能在secondary上改变

 

选Primary logical drive ->Logical Drive → RemoteMirroring → Change → Synchronization
或右键 Change → Synchronization Settings

 

使用"自动重新同步"不是最好的习惯，因为在失效时，数据会变得不一致     P465

 

12.7.5 Changing mirror write mode
选Primary logical drive ->Logical Drive → RemoteMirroring → Change → Write Mode
或右键 Change → Write Mode

 

8.7.8 Suspending and resuming a mirror relationship
当暂停 同步关系，primary的I/O将被记录到mirror repository logicaldrive且数据被写到primary logical drive中

当暂停 异步关系，primary控制器简单的停止remote write request

 

选Primary logical drive ->Logical Drive → RemoteMirroring → Suspend
或右键 Change → Suspend Mirroring

 

暂停后，图标变成灰色，有一闪电标识

 

Resume mirroring：恢复后没有特殊的图标

 

12.7.9 Removing mirror relationships
删除镜像关系不会删除primary logical drive、secondary logical drive、mirrorrepository logical drive；
primary logical drive仍然可以正常访问

删除只对local logical drive有效
先删除local logical drive，然后删除remote logical drive；如果不能删除remotelogical drive，则通信有问题，并会报错

Logical Drive → Remote Mirroring → Remove MirrorRelationship

 

8.8 ERM and disaster recovery
(当发生灾难时)，primary 和 secondary logical drive可以相互转换

 

Changing a secondary logical drive to a primary logicaldrive
选中secondary logical drive，Logical Drive → Remote Mirroring → Change→ Role to Primary

 

Changing a primary to a secondary logical drive
选中primary logical drive ---> Logical Drive → RemoteMirroring →  Change → Role toSecondary 

 

Forcing a secondary to change to a primary logical drive

Forcing a primary to become a secondary logical drive
当次secondary转换为primary时，如果通信出错，会有一个错误提示

 

当有错误发生时要查看Recovery Guru

 

12.8.2 Re-establishing Remote Mirroring after failurerecovery

 

12.9 Enhanced Remote Mirroring solution design
P485
▲ 站点内部的配置使用最少的冗余：2个FC交换机连接2个DS4000
▲ 站点之间的配置使用冗余光纤：2个FC交换机连接2个DS4000，交换机之间用ISL(Inter SwitchLink)连接
▲ 高可用性站点之间配置使用冗余光纤：4个FC交换机连接2个DS4000的全冗余结构，交换机之间用ISL(Inter SwitchLink)连接

当速率为4G时，primary和secondary之间的距离最远为150m

12.10 ERM maintenance
当mirror relationship失效后，状态变成unsynchronized mirrorstate(有一红斜线)
此时应检查Recovery Guru

 

在同步模式中FC链路中断：变成unsynchronized mirror state，主机仍可写，remote不会写
在异步模式中FC链路中断：primary会周期性的尝试与secondary连接；在Mirror repository Logicaldrive中会存放写入的顺序日志，在Mirror repository 未写满之前，状态为Synchronized；当Mirrorrepository容量被写满之后，状态变为Unsynchronized，主机仍可写，remote不会写

 

12.10.3 Fibre Channel Mirror Link test function
Test Mirror Communication：测试通过为绿灯，未通过为红灯

 

12.10.4 Secondary logical drive error
当secondary logical drive错误时，primary也标识为unsynchronized

 

12.10.5 Primary controller failure
当primary上一个控制器失效后，所有I/O会自动转到另一个控制器上

 

12.10.6 Primary controller reset
如果能正常写到secondary中，则primary上的首选控制器不能更改

 

12.10.7 Secondary controller failure
当secondary控制器失效后，primary不会再与secondary通信，状态也变成unsynchronized

 

12.10.8 Write Consistency Group and Unsynchronized State

 

12.11.1 Synchronization priority
当highest优先级进行 8  次同步时，lowest 1次
当highest优先级进行 6 次同步时，low   1次
当highest优先级进行 3.5次同步时，medium 1次
当highest优先级进行 2  次同步时，lowest 1次

 

12.11.2 Synchronization performance and logical drivesettings
▲ 在两个存储上都设置相同的write cache
▲ 在secondary上不要使用read cache
▲ 建立阵列
▲ 在secondary上建立RAID1来负载均衡

 

12.11.3 Mirroring mode and performance
－Metro Mirroring is a “must synchronize” mode.
－Global Copy and Global Mirror are a “can synchronize” modes.
－Global Mirror needs more storage controller processing resourcesto enforce the host I/O write request order.

 

12.11.4 Mirroring connection distance and performance
当距离超过10km，只能使用 异步镜像 模式
当距离过长时，会自动降速来避免冲突
当距离过长时，可使用IP连接

 

当负载过重时，用 异步模式

 
12.12 Long-distance ERM
使用 Global Copy 和 Global Mirror operatingmodes，使用异步镜像，距离可超过5000km
 
--------------------------------------------------------------------------------------------
DS4000中的一些疑问：
如何确认mirror repository 上的I/O有多少个???
P488 图8-11 是否有问题???
P524 图  远程镜像中主/次互换 需实验  看storagesubsystem 后面是否有标识 primary/secondary ??
P531   8.8.2 Re-establishingRemote Mirroring after failurerecovery   需实验
---------------------------------------------------------------------------------------------
这一章与 DS4000 的第8章 雷同
---------------------------------------------------------------------------------------------
13:55 2009-4-9
 
 
 
第13章   DS4000 performancetuning
P499---P528

13.1 Workload types
▲ 基于事务：high number of transactions (IOPS)，以IPOS为单位
▲ 基于吞吐量：large I/Os；以MBps为单位

Workload = [transactions (number of host IOPS)] * [ throughput(amount of data sent in one IO)]

工作负载中的事务和吞吐量为互斥的，事务增加，吞吐量降低；反之亦然；

Transaction based processes (IOPS)：以IOPS为单位
Throughput based processes (MBps)：以MBps为单位

基于事务 和 基于吞吐量 这2种工作负载有不同的参数设置

 

13.2 Solution-wide considerations for performance
1.考虑主机访问LUN时，设备/逻辑设备的位置、路径
2.考虑数据位于存储中的阵列和逻辑设备的位置
3.考虑数位位于后端设备中的阵列，以及数据如何通过这些阵列中的成员；如设备数量、大小、速度、应用程序冲突
4.配置冲突：考虑主机如何利用存储

13.3 Host considerations
13.3.1 Host based settings
有些主机可以改变write cache和cache read-ahead的值，会同时影响到事务和吞吐量 工作负载

▲ block size：用于决定segment size；推荐当高事务工作负载时，segment size最小2倍于I/Oblocksize
▲ queue depth：不能超过DS4000上的队列深度(DS4000上的队列深度被firmware限制，firmware6.1为2048)
               在存储上的所有LUN共享队列限制
计算公式：DS4000上的队列深度 /(主机数*每个主机上的LUN;)        主机上的LUN选最大数量
如4台主机，分别有12,14,16,32个LUN，则 队列深度=2048/(4*32)=16

有些主机在HBA卡上定义queue depth
计算公式：DS4000上的队列深度 / HBA卡的总数

queue depth过大，可能会引起数据丢失，导致文件损坏

当使用FC tape和FC disk时，一定要分开在不同的HBA卡上，因此这2种设备的数据样式差异非常大

Host data layout
▲ 在RAID1/10中，同一个array上的LUN，将其首选的路径通过不同的控制器
▲ 在RAID5中，最好将LUN放在不同array上(就是一个阵列上一个LUN)，将其首选的路径通过不同的控制器
▲ 在RAID0中，stripe size要 complement the size of the underlying stipewidth defined for the logical drive
    ?????

 

13.3.2 Host setting examples
AIX operating system settings
Transaction settings：AIX已经不能再修改cache read-ahead
使用chdev命令改变相关属性值
# chdev -l hdisk# -a queue_depth=xxx-P   改变硬盘的queue depth
# chdev -l fcs# -a num_cmd_elem=256-P   改变HBA的num_cmd_elem----为了高性能，建议使用256   P157

Throughput based settings
AIX中设置吞吐量，在HBA卡上设置lg_term_dma和max_xfer_size

Windows operating system settings
Fabric settings：在HBA卡里设置queue depth
Disk types：基本盘(默认) 或 动态盘
           Windows中可使用diskpart.exe工具的extend 命令来基本盘上的主分区

基本盘不支持 软RAID

Windows中可使用diskpart.exe工具的extend命令来基本盘上的主分区    P159---P161

Extend [size=n] [disk=n] noerr

C:/>diskpart.exe
DISKPART> list volume
DISKPART> select volume 3 
DISKPART> Extend [size=n] [disk=n]noerr    未指定size时，不扩展所有未分配的空间；未指定disk时，为当前disk

extend命令只能用于NTFS分区
扩充时不需要停止I/O

 

13.4 Application considerations
在混用基于事务和吞吐量的工作负载时，先考虑事务性能

Transaction environments：数据库，邮件，web，文件服务器 多基于 事务
Throughput environments：事务少，但 大的I/O

 

13.5 DS4000 Storage Server considerations
13.5.1 Which model fits best
首先要考虑选择一个合适的存储型号

13.5.2 Storage server processes
DS4000 copy services

Enhanced Remote Mirroring (ERM)：
当highest优先级进行 8  次同步时，lowest 1次
当highest优先级进行 6 次同步时，low   1次
当highest优先级进行 3.5次同步时，medium 1次
当highest优先级进行 2  次同步时，lowest 1次

FlashCopyfunction：当不再需要flashcopy时应将其停止，因为在copy-on-write时，源LUN不能写，虽然时间很短，但也会产生冲突;
disable后可以re-create          P170

13.5.3 Storage server modification functions
优先级与系统性能之间互斥：优先级高，影响性能，但时间短；优先级低，性能高，但时间长

Media Scan：在后台检查所有LUN；默认每30天一次
Defragmenting an array：用于释放空间；一旦开始，不能停止，运行期间不能改变配置
Copyback：用于从热备份盘拷贝数据到一个替换的硬盘上；当有失效硬盘被替换，自动发生copyback从热备盘上到替换的硬盘上
Initialization：也叫格式化，删除所有数据

Dynamic Segment Sizing (DSS)：用于LUN上
Dynamic Reconstruction Rate(DRR)：用于RAID1/3/5中，在替换硬盘或热备盘上重新建立数据
Dynamic RAID Level Migration (DRM)
Dynamic Capacity Expansion (DCE)
Dynamic logical drive Expansion (DVE)

 

13.5.4 Storage server parameters
Cache blocksize selection：全局参数；
       基于事务(如数据库）的建议使用4KB；
       基于吞吐量的用16KB
       混合的时候，决定哪种类型用得更多
Cache flush control settings：80%---20%

 

13.5.5 Disk drive types
硬盘类型(FC 或 SATA)
转速
容量

SATA硬盘不支持queuedepth    (DS4000最佳实践 P54)
FC硬盘的queue depth＝16

Arrays and logical drives
RAID array types
Number of disks per array
Array and logical drive creation：建议在一个阵列上只建立一个LUN
Logical drive segments：在基于事务 使用 64-128K
                       在基于吞吐量的，设置为host I/O size的大小或倍数
Logical drive cache settings：为LUN设置启用读/写cache，以提高性能

13.6 Write Operations and Storage Manager handling of Arrays
13.6.1 Write Disk Operation
13.7 Fabric considerations
 
----------------------------------------------------------------
  这一章与 DS4000最佳实践 第4章 雷同
----------------------------------------------------------------
16:58 2009-4-9
 
 
 
第14章   DS4000 tuning with typicalapplications
P529---P548

14.1 DB2 database
使用单独的阵列，单独的LUN来存放数据库文件和数据库的日志文件

使用RIAD10比RAID5提高25---30%的写速率
如使用RAID5则使用8+1 parity disk，segment size 为 64KB 或128KB

DB2 logs和归档文件 ：大的工作负载，且连续产生，推荐将基放在RAID10上

 

14.2 Oracle databases
使用RIAD10比RAID5提高25---30%的写速率
如使用RAID5则使用8+1 parity disk，segment size 为 64KB 或128KB

使用扩展柜丢失保护
使用15K rpm 磁盘，这将比10K rpm磁盘的性能高出20-30%
确写有足够的热备盘

 

性能监控：监控CPU，内存，磁盘，网络
Windows下使用性能监控器
Linux/Unix下使用命令：
CPU: sar, vmstat, mpstat, iostat
内存: sar, vmstat
磁盘: sar, iostat
网络: netstat

 
 
14.3 Microsoft SQL Server
使用NTFS文件系统
使用RAID1/10
使用15K rpm磁盘
为了最好的性能，阵列中使用5-12个硬盘

 

14.4 IBM Tivoli Storage Manager backup server
TSM中，cache设置为16KB

 

14.5 Microsoft Exchange 2007

 

----------------------------------------------
总结：
使用RAID1/10
使用高速硬盘
使用扩展柜保护
确保有足够的热备盘
启用读/写cache
RAID中保持适当的硬盘数量
----------------------------------------------
这一章与DS4000最佳实践雷同  未细看
----------------------------------------------
19:58 2009-4-9