数据存储与备份管理解决方案

来源:互联网 发布:tensorflow java api 编辑:程序博客网 时间:2024/04/30 15:53
一、概述

  现在,如何有效地防范系统突发事件,在尽可能低的运作成本和拥有成本的前提下,提高数据的可靠性和可用性,已成为企业信息化工作急需解决的内容和关键性问题。

  TSM(Tivoli Storage Manager) 软件是 IBM 存储管理经验的结晶。 TSM 是为解决企业级数据及系统安全而设计的备份全面解决方案,为石油、金融、电信等许多大型企业,解决困扰信息技术部门的备份管理问题。它在节省成本的前提下向您提供有保证的、自动、简单而且灵活的服务。 Tivoli TSM 的管理架构,真正适合企业管理级管理需求,为企业提供高效、自动、可扩展的备份管理体系。

  北京瑞飞信息技术有限公司(石油地球物理勘探局信息中心)是国内最早应用 TSM 的企业之一,并同时把 TSM 应用在数据备份和数据管理领域。在此方面,我们有着非常丰富的使用经验,并且是国内最早在 TSM 基础上进行技术开发的企业。

  现在,使用 TSM 企业备份解决方案可以解决各种数据备份、归档问题;使用瑞飞公司在 TSM 基础上开发的 Data Management System ( DMS )可以解决石油、数字媒体、金融、电信等各种数据管理系统的海量数据存储管理问题。

TSM 应用案例

  在机房内,我们将在一台机器 (IBM RS/6000 服务器 ) 上安装 Tivoli TSM Server 作为备份服务器, 专门伺职备份。存储设备(磁带库)接在该备份服务器上,在需备份的客户端 (UNIX 、 WIN/NT 等 ) 安装 TSM Client 端软件。以下为示意简图:

  图中 AIX 、 SUN 、 Win/NT 等机器代表了现有的应用系统和一般桌面用户,在上面安装 TSM Client 端,它们通过 TCP/IP 协议与 TSM Server 连接。 TSM Server 可以是专用的服务器,或者是借用业务不繁忙的服务器,可以是 IBM AIX 、 SUN ,也可以是运行 NT 的 PC 服务器。应用系统或数据库的数据通过网络送达 TSM Server , TSM Server 管理这些备份数据,将它们存放到磁带子系统中。运行数据库 Oracle 、 SAP 系统的 RS/6000 再安装 Tivoli Data Protection for Oracle 以及 Tivoli Data Protection for R/3 ,用以备份数据库和 SAP 应用的数据 ; 运行 MS SQL 、 MS Exchange 系统的 NT 再安装 Tivoli Data Protection for MS SQL 以及 Tivoli Data Protection for MS Exchange ,用以备份数据库和 MS Exchange 应用的数据 。

二、方案的特点

1.高度的扩展性和广泛的操作平台支持

  TSM 提供对各种高性能外围存储设备的支持, TSM 支持 39 多种客户机平台和 8 种服务器平台,并且支持 250 多种存储设备,再一次体现了在配置方面灵活性。 目前 ,TSM Server 和 Client 之间可以通过多达 7 种网络传输协议进行备份数据的传输 , 支持以 LAN 、 SAN 和拨号网络等多种连接方式。

2.集中式的自动存储管理

  TSM 服务器可以监控所有应用服务器的备份作业,也可以修改其备份策略,同时, TSM 提供多种的定时数据备份方式,客户甚至可以方便根据自身的存储管理要求编写备份脚本且纳入 TSM 的定时机制中,这些定时机制可以在 TSM 、应用、操作系统三个层次中实现,以可以满足客户对存储管理的特定要求。

  TSM 可以通过 WEB BROWSER 登录到任何一台 TSM Client 进行数据的备份和恢复。同样的,也可以通过 WEB BROWSER 登录到 TSM SERVER 上进行管理。这意味,只需在一台机器上,就可以实现 TSM 系统的集中式远程管理。

3.高性能的数据备份和恢复

  •  TSM 提供后台关系数据库的支持,从而使恢复和备份速度大大加快。
  •  支持备份和恢复过程中的断点再续。
  •  在备份和恢复过程中, TSM 都提供了多线程的数据流支持。
  •  通过磁带的数据分类集中存放,可以将同类型的数据集中存放在一组或一个磁带上,从而在恢复时保证以最少的磁带恢复,大大加快了恢复速度。
  •  通过磁带数据的自动重整,减少磁带碎片,提高磁带的利用率,节约客户成本,保证数据的可用性。
  •  支持在 SAN 环境下的 LAN-FREE 数据迁移。
  •  提供永远的增量备份,通过先进的技术手段减少需备份的数据量,最大限度的提高备份工作的效率。
  •  提供 Web Proxy Server ( TSM 代理服务器),减轻在多个备份进程同时发生时 TSM 服务器的负担。
  •  TSM 提供了 SELF-TUNING 的调试工具,可以指导系统管理人员进行性能优化。
  •  在 TSM 的系统配置文件,提供了一系列的参数优化 TSM 系统。

4.广泛的应用支持

  TSM 通过 Tivoli Data Protection 模块对应用数据库进行在线热备份,目前, TSM 支持 Oracle 、 Informix 、 Lotus Domino/Notes 、 MS SQL 、 MS Exchange Server 、 SAP R/3 on Oracle/DB2, 对于 DB2 数据库, TSM 可以提供全面的支持,直接通过 TSM 就可以实现 DB2 的在线热备份。

  对于 Oracle 、 Lotus Domino 、 Informix 、 MS Exchange Server , TSM 结合 TDP 模块,可以实现在 SAN 下的 LAN-Free 数据迁移。

5.安全的存储管理解决方案

  管理的安全是保护应用数据的重要因素, TSM 提供管理员的多重的权限定义,实现多层次的管理方式, TSM 的管理员和 TSM Client 的用户严格区分。因此,客户可以根据实际的存储环境和安全要求定义不同级别的管理员和用户。同时它允许用户授权进行数据恢复。 TSM 提供集成的一系列安全防范措施,提供对 IP 地址窃取、中断、加密等影响安全的操作,保证备份的安全管理。

  TSM 的数据传输格式为经过加密处理的 TSM 独有的二进制格式,可以保证数据在备份和恢复过程中的完整性和安全性。而且,在每次数据备份和恢复时, TSM 都会自动进行 CRC 的数据校验,以保证数据的完整性。在进行数据恢复时,用户需要经过三重的安全验证,只有验证通过,才能进行数据的恢复。所以 TSM 的备份数据的安全性可以得到有效的保障。

  TSM 在磁带中的保存格式是 TSM 独有的格式,只有通过 TSM 数据库的配合,在 TSM 系统内部才可以将备份数据读出。而且,在每次进行数据备份时, TSM 会检查介质的可用性,如果遇到错带,它会拒绝使用,防止数据备份的失败。 TSM 系统会在备份是在每合磁带的带头写入一些 TSM 的控制信息,当进行数据恢复时,系统会自动进行这些信息的校验,如果信息校验失败(如插入错误的备份磁带),系统会拒绝使用,这可以有效的保证备份数据的完整性

  对于 Oracle 、 Domino 等应用的在线热备份, TSM 通过 TDP 模块在应用系统所在的机器执行,也可以通过 TSM 的定时机制实现集中的存储管理。在定时机制执行时,并不须依赖系统的 ROOT 权限,可以直接通过 TSM 的内部安全机制实现。

6.高可靠性的存储管理系统 

  TSM 对它的数据库和日志提供多达三份镜像( Mirror )保护,以防止单一备份失效和系统崩溃后给整个系统带来的灾难性破坏。

  TSM 对其后台数据库和 LOG 文件可以进行备份和快速恢复。由于 TSM 的后台数据库是一个关系数据库(在文件系统中以一个加密的文件的形式存在),所有的系统数据都保存在数据表中,可以有效的防止由于系统数据的分散(包括物理的分散和逻辑的分散)造成的单点故障,并且可以对其后台数据库和 LOG 文件提供多达三种的数据备份方式:全备份、增量备份、 SNAPSHOT (只备份 LOG ),这样可以减轻系统管理人员的负担,而且,通过对 LOG 的备份, TSM 自身可以实现定点的恢复。

  TSM 提供对 IBM HACMP/CLUSTER 的支持,当一个节点 HACMP/CLUSTER 的出现故障, HACMP/CLUSTER 切换节点后, TSM 继续其数据备份的工作,并且保证数据的一致性。

  对于复杂环境下的数据备份,可能会同时有多台客户机同时提出备份的请求,这样存储服务器的负担将非常的大。 TSM 提供了 Web Proxy Server ( TSM 代理服务器,可以安装在另外的机器上)的功能,对这些请求按优先级进行自动的队列,这大大的减轻了 TSM 服务器的负担,提供了更好的可操作性和扩展性,由于 Web Proxy Server 与 TSM 服务器和 TSM 客户机的通讯采用加密机制( SSL ),这也提高了整个 TSM 系统的可靠性和安全性。

7.强大的存储设备管理

  TSM 备份管理可以将磁带有效的管理起来并建立电子标签;即使人工标签脱落导致发生混乱,也可以通过电子标签快速查询介质上数据的内容。 TSM 能够自动跟踪所有介质的去向和使用情况。 TSM 不仅自动管理磁带库、光盘库中的介质,还能跟踪放在磁带库、光盘库外的介质和保留在异地的备份介质。

  TSM 在介质管理中采用了独一无二的 “ 磁带集中 ” 和 “ 磁带重用 ” 技术。 “ 磁带集中 ” 使每个客户机的每天的备份数据都对应放在一盒或一组磁带上,使得 TSM 能够用最少的磁带数做恢复。这是一种迅速、可靠的数据恢复方式。

  “ 磁带重用 ” 的目的是使磁带库或光盘库介质自动轮转,完全实现备份、恢复的无人值守。原理是:当介质上的过期数据越来越多并达到一定限度时,比如介质上 80% 的数据都过期了, TSM 会自动把数个这样的介质的残余数据整合到一个介质中,而其它介质重新进入新的介质轮转中去。所以,如果用户有足够的存储容量, TSM 可以做到真正的 ‘ 零管理 。

  在进行对备份数据存储时, TSM 通过在不同的存储设备中建立不同的存储池来实现数据的分层存储和迁移,对于一些大文件, TSM 可以指定直接存放在磁带上,这样可以减少对主机 IO 资源的消耗,也能提高备份的效率;对于一些小文件,可以先将小文件暂时存放在硬盘的存储池上,进行数据的重整,当这些文件达到一定百分比时(由系统管理员设定),再一次性的存放在磁带上,这样可以大大减少磁带的 MOUNT 带和就位时间,提高了数据的备份效率,数据的存放也更科学合理。

8.强大的灾难恢复

  TSM 的灾难管理功能 ( 简称 DRM) 能够指导用户如何操作来迅速恢复企业范围内的各种数据。

  自动、准确的 DRM 功能帮助用户保护宝贵数据的安全性。在 TSM 管辖内的数据,都能通过 DRM 自动策划、准备及制作备份恢复计划,一旦 DRM 生成了计划文件,所有服务器上最新的相关信息都被收集起来,以备恢复。

  如果灾难发生, DRM 提供恢复步骤的详细文档,可执行的描述文件自动恢复数据、重建环境。 DRM 使得企业可以很快回复正常运转。

  DRM 智能化管理和跟踪备份介质的转移。帮助管理员决定哪些介质本地保存,哪些介质需要异地保存。当恢复灾难时, DRM 帮助用户迅速找到所有需要的介质,无论这些介质是在本地或运输途中或在异地的保险柜里。

  TSM 客户端追踪管理功能帮助系统管理员了解哪些系统被灾害摧毁,以及这些机器所需要的软硬件,以便用户决定需要重新定购哪些设备来替换损坏的设备。其他 DRM 记录的重要信息包括:需要恢复的各台机器的优先级;相关人员的连续方式等。

  同时,对于异地数据保管和恢复, TSM 提供了一个独特功能: Instant Archive and Rapid Recovery 。这个功能是在 TSM server 上将所需要恢复的数据影像到其它的可移动存储介质中,如普通 8mm tape 、可写 CD 等。管理人员再将这些存储介质拿到需要恢复的设备上,利用 TSM Client 的功能将这些数据恢复到系统中即可。 这个功能即可以帮助客户将最为重要的数据复制到 CD 或磁带中永久归档保存;又可以在网络出现故障时,作为解决远程恢复问题的辅助手段。 Instant Archive and Rapid Recovery 在功能上类似于 UNIX 的系统备份。这种脱机恢复方式可以允许系统恢复到任意符合要求的设备上,为分析,开发,灾备提供了更大的灵活性。

9.提供 OLAP 存储环境的分析工具:

  TSM 内置了 Tivoli Decision Support for Tivoli Storage Manager ,它收集 TSM 每次执行任务的情况,包括状态、性能等,然后给出详细的分析资料和变化趋势。针对存储管理的特点,给出量化的指标。而且, Tivoli Decision Support 还支持通过 Internet 定时进行分析数据的发布,从而为一个集中的管理要求提供了技术上的可能。

10.对今后系统管理和升级的考虑:

  作为一家专业而全面的系统管理解决方案提供商, Tivoli 的软件覆盖了系统管理(包括硬件、操作系统、网络、应用的监控和管理)、安全管理、存储管理等范围,而且, Tivoli 所有的产品都可以良好的集成在一起,通过一个统一的界面就可以实现系统管理的所有功能。在系统管理的基础上, Tivoli 同时还提供了基于业务管理模式的统一控制台,决策和多维数据分析工具等,这些增值的功能可以增强企业的竞争力。因此,企业 可以先 从存储管理着手,在保证应用数据可靠性的基础上,通过软硬件的综合扩展,采用统一的系统管理支撑平台,可以逐渐建立起一套全面的高度集中的高效率的系统管理机制,包括应用系统的管理、网络管理、安全管理、存储管理等各方面,以满足企业发展的需求,通过成熟的 IT 管理架构,最大限度的提高企业的管理水平和服务水平,减少成本,最大限度的满足目标客户的需求。

  TSM 可以通过 Tivoli Plus Module 和 Tivoli 的其他产品无缝集成,包括 Tivoli 的系统监控、事件分析处理工具、网管、安全模块等,从而构成一个完整的系统管理解决方案。

  TSM 系统可以根据客户的需求平滑的升级到灾难恢复系统,实现应用级的数据复制。事实上,利用存储管理软件作为灾难恢复系统的基石,构建灾难恢复系统,相对于其他的灾难备份系统,存储管理软件作为灾难备份恢复系统,具有以下独特的优势:

   •  成本低,通过存储管理实现灾难恢复,可以充分利用企业现有的存储设备,减少了企业在设备上的投资。
   •  风险低,由于这种灾难恢复系统可以分步实施,每一步都有明确的目标,对于客户来说,这都是可控的。
   •  操作简单,对技术人员要求低,许多的步骤都可以自动执行,即使遇到意外的特殊情况,由于系统操作人员一般都熟悉存储管理软件的基本操作和原理,可以第一时间得到及时的处理。

  Tivoli Storage Manager 相对其他别的存储管理工具,由于得益于 IBM 和 Tivoli 对数据存储管理、灾难恢复的高度重视和成熟技术,在灾难恢复系统的利用和建立上更是领先一大步:

  •  拥有成功的灾难恢复模块,专门从事系统的重建工作。
  •  拥有成熟的技术服务队伍,从事备份和灾难恢复系统的顾问和规划以及实施工作。
  •  拥有多层次的技术支援体系,提供从开发人员、实验室到技术支持工程师等一系列的技术支援,及时解决客户问题。
  •  最关键的是, TSM 作为灾难恢复和业务接管系统在国内已经在某些客户作过成功的测试,并得到一致的认可。
  •  TSM 作为灾难恢复系统,不需对生产系统机器进行任何的改动,并可在客户生产应用系统运行的前提下立即在线安装、配置,一旦配置成功,系统将按照事先定义的策略进行数据的自动保护。
  •  TSM 在数据存储管理时,对生产机器和备份机器的资源占用将比较小。根据内部和客户的测试结果, TSM 在备份和恢复数据时,极端情况下,占用的系统资源都不会超过 20% 。
  •  在数据的传递过程中,数据一直都通过 TSM 的后台数据库进行校验,保证了数据通过网络传输的一致性。

三、成功案例
  
1.中石油东方地球物理公司 ERP 灾难备份及集成系统