银行研发中心数据备份方案解析

来源:互联网 发布:p2p软件开发 广州 编辑:程序博客网 时间:2024/05/02 01:53
随着现代商业银行业务和服务种类的不断扩展,银行软件研发中心各种业务系统的平台和相关各种数据文件日渐增加,如何进行集中备份管理,如何最大程度地保护企业的数据,成为目前研发中心一个极为迫切的课题。

某银行研发中心主要承担银行核心业务系统的研发任务,涉及银行主机、网关、前置前端和文件传输等重要系统。

该研发中心的设备和环境分布于两个地方,AIX和HP小型机设备和EMC存储位于外高桥,PC服务器和HDS存储等位于20多公里外的花木,两地都已经通过EMC和HDS存储建立起各自独立的SAN集中存储环境,两地之间通过电信8M的IP线路连接。

目前研发中心采用了人工和自动备份结合的备份方式,一部分数据是定期通过服务器内置的磁带机备份到磁带上,另一部分数据是定期通过系统计划任务(crontab)ftp到指定的备份服务器。随着服务器和系统的不断增多,这种手工和分散的备份方式越来越不能满足开发测试备份的需求。

为了满足系统的集中管理与安全需要,减少系统及数据库维护人员的压力,存储的集中必然要求集中的备份管理,并且要求备份系统具有良好的扩展性,能够满足研发中心近期和远期的存储规划,同时要求两地具备互为异地容灾的功能,最大限度地保证备份数据的可靠性和安全性。

备份需求分析

业界对数据的保护有多种方法,包括备份和数据容灾。目前用得最多、最有效的手段是数据备份。而备份的方法也很多,有手工备份、自动备份、LAN备份、LAN-Free备份等。不同的备份方法,其效果不同,主要表现在性能、自动化程度及对现有系统应用的影响程度、管理、可扩展性等方面。结合研发中心开放平台环境的实际情况,我们总结出以下几点需求:

1. 要求实现集中的备份管理

研发中心拥有十多台AIX和HP小型机,加上分区技术,系统管理员需要维护多达20多套Unix环境以及Informix数据库,同时还有Linux、SCO Unix和Windows环境。这要求所有服务器的备份和恢复在集中的单一节点控制,减轻系统管理的负担。

2. 备份系统具有良好的扩展性

随着远期存储系统的扩展,能够在已有备份系统的基础上分阶段地扩展,不影响已有备份系统的可用性,并且能够保证扩展后的备份系统的性能。扩展性同时要求备份系统能支持尽可能多的主机平台和备份设备。

3. 性能和灵活性的考虑

由于研发中心已经在两地建立起各自的SAN存储架构,有一种方法是利用现有的SAN环境,实现LAN-free的备份和恢复。但LAN-free备份实施比较复杂,需要调整SAN环境,在每个系统上分配备份设备。而且研发中心开放平台的实际情况是,虽然小型机和服务器众多,但是每台设备上的数据量并不多。我们决定采用LAN的备份方式,不对现有的SAN环境做任何调整和改动。考虑到LAN备份速度上的限制,将所有的备份任务安排在晚上进行,不对白天研发中心开发测试工作带来任何影响,同时对整个备份管理的灵活性和今后的扩展性带来最大的便利。

4. 备份设备介质的考虑

目前比较常用的备份介质是磁带库和磁盘。由于研发中心不同于数据中心或运行中心,对于数据没有长期归档的需求,只需保留近期一定时间内的数据和环境,在系统、数据库或硬件遭到破坏的时候,能够将数据得以再现。结合实际情况,我们采用硬盘作为备份介质,既可以最大程度地共享和利用备份介质,支持多备份任务并发,也便于今后备份设备容量的扩充。

5. 异地容灾考虑

研发中心设备目前有外高桥和花木两个点,两地之间的IP带宽只有8M。在集中备份的设计方案中,两地各建本地集中备份,同时两地重要性较高的数据,通过8M带宽互为异地容灾备份,以达到性能和安全性的最优。

6. 利用现有设备,保护投资

在整个备份方案和架构设计的时候,应充分利用已有的设备,如HDS AMS200存储系统、现有的网络结构等,保护投资,同时由于介质只用于备份,磁盘可以选择性价比较高的ATA硬盘。

备份方案的选择

在这个备份系统中,我们希望花木和外高桥的服务器各自做本地的集中备份,分别备份在本地的HDS磁盘阵列上,但整个备份工作的管理、监控和策略制定,集中在一台服务器上完成,即单一节点控制。

结合Veritas Netbackup备份软件,整个系统组成如下:

1. 1台主备份服务器

它负责整个备份系统的管理和监控,包括备份策略的制订、备份数据保存周期的定义等。

2. 两台介质服务器

介质服务器可以直接写磁盘阵列,提供客户端的本地备份目的地。在此方案中,我们在花木和外高桥各建了一台介质服务器,花木的介质服务器同时又充当了主备份服务器的角色。

3. 备份客户端

我们采用集中统一的备份策略管理,在花木和外高桥两地分别建立本地集中备份,有两台服务器ServerA和ServerB充当介质服务器。两地的备份任务和策略调度统一由花木主备份服务器ServerA担当,通过主备份服务器对整个数据库和应用系统的备份工作进行集中的管理、监控。整个方案中,ServerB充当介质服务器,ServerA既充当介质服务器,又充当主备份服务器的集中管理功能,其他网络上需要的备份机器充当客户端。

在硬件的选择方面,两台介质服务器选择了配备HBA卡的PC服务器,连接磁盘阵列和光纤交换机。备份介质为两台HDS的中低端存储设备,各配了2T容量的ATA硬盘,既节约了成本,又能满足集中备份的性能需求。

备份和恢复策略

在这个备份系统方案中,备份策略按对象分为文件系统和数据库文件系统。常见备份策略有如下三种:

1.完全备份,每次备份定义的所有数据,优点是恢复快,缺点是备份数据量大,数据多时可能做一次全备份需很长时间。

2.增量备份,备份自上一次备份(全量或增量)以来更新的所有数据,其优点是每次备份的数据量少,缺点是恢复时需要全备份及多份增量备份。

3.差量备份,备份自上一次全备份以来更新的所有数据。

可以结合这三种方式,灵活应用。比如:数据量少时,我们可以每次都用全备份备份数据,这样,恢复时,只需要指定一个数据源即可。数据量大时,如果经常全备份,效率会很低,我们可以结合全备份和增量备份方式。比如每星期做一次全备份(如星期天),其他时间,每天做一个增量备份(如星期一到星期六)。恢复时,只要依次恢复最多七个备份介质即可。(如:上周日、星期一、星期二……直到破坏前一天的数据。)

数据库常见的备份策略如下:

0级备份:即全量备份,对整个数据库的所有数据进行*完整备份

1级备份:自上次0级备份以来变化的数据

2级备份:自上次1级备份以来变化的数据

同样,对于研发中心所使用的Informix数据库,也可以根据上述各种策略的结合,制定出适合自己实际情况的备份策略。这里指出的是,用Veritas Netbackup对Informix数据库进行联机备份,需要安装NetBackup Informix Agent组件,该组件利用Informix提供的Onbar备份恢复工具进行工作。

在具体制定备份策略的时候,对于每台备份客户端,我们需要明确以下几点信息:在什么时间将什么数据以什么方式备份到哪一个备份介质,备份保存多久。这些信息明确了,备份策略也就制定出来了,在实施备份的时候,每个系统根据其功能和重要性都有各自对应的备份策略。

由于采用磁盘作为备份介质不同于采用磁带库的方式,磁盘中存放的备份介质需要我们手工指定备份的保存周期,否则系统将不知道何时去收回该备份所占的磁盘空间。所以在磁盘作为备份介质的方案中,我们很重要的一项工作就是指定每个备份策略的保存周期,通过设置不同的全量和增量保存周期。我们就可以计算出相对应的数据恢复目标。当然,我们通常的做法是根据事先预期的恢复目标来选择备份保存周期。

异地灾备的考虑

方案一:每个备份客户机上的数据通过两个独立的备份策略分别备份到本地和异地的介质服务器。

方案二:每个备份客户机先通过各自的备份策略备份到本地介质服务器,然后本地介质服务器再作为客户机定期通过一个独立备份策略将已经备份到本地HDS阵列的数据再次备份到异地的介质服务器。

方案一在主备份服务器上的配置比较简单,只需为异地备份的备份客户机另外再制定异地备份策略,但缺点是异地备份发生的时候会占用备份客户机的系统资源和本地局域网带宽,其实还是一种“源到拷贝”的异地备份。方案二配置稍微复杂,需要将本地的介质服务器另外再配置成异地介质服务器的备份客户机,优点是异地备份发生的时候,不占用真正备份客户机的资源和局域网带宽,其实是一种“拷贝到拷贝”的异地备份。

考虑到研发中心目前的实际情况,花木和外高桥两地IP带宽有限,异地备份需要占用大量时间和有限的带宽,故采用了第二种方案,即异地备份的时候不对客户端产生影响,同时需要异地备份的服务器目前只配置了ClearCase Server这一台,因为对于银行研发中心来说,源代码的保护是最重要的,其他测试环境都可以重新再搭建,但源代码是研发中心的生命。

原创粉丝点击