大容量Oracle数据库跨平台迁移案例(杭州电信3.5T帐务系统 IBM-HP)

 

客户背景

杭州电信是中国电信旗下的重要分公司之一。杭州电信的前身是创建于1883年的津沪电报总局杭州电报分局。解放后，随着我国邮电事业的变迁，杭州电信不断发展壮大。在2000年7月，浙江省电信有限公司杭州市分公司正式挂牌成立。在一百多年的发展中，杭州电信不仅为中国经济最发达省份提供着优质的电信服务，而且为中国的电信事业培养了大量的优秀人才，包括现任信息产业部部长王晓初以及中国移动董事长王建宙等都曾在杭州电信长期学习、工作和担任领导职务。

杭州电信现有资产总值62.5亿元，员工2529名。公司下辖萧山、余杭、富阳、临安、桐庐、建德、淳安七个县（市、区）电信局，客户量超过460万。

 

业务需求

杭州电信的电信信息系统自2002年建设，至今已5年有余。由于业务的快速发展，数据量爆炸式增长，而原有的系统由于设备老化、扩展性不足，在处理能力、性能等方面已经无法满足现有业务的需求。为此，杭州电信在机房搬迁的同时，采购一批新的设备，实现信息系统的升级换代。

在整个搬迁工程中，帐务系统的迁移最具有挑战性:

1)     数据库容量大。帐务系统库容量超过3.5TB，数据量2.9TB。各类对象超过18万个，其中表18000多张，最大用户下就有超过10000张表，而最大的表内记录数接近3亿条；存储过程和函数等接近10000个。

2)     跨平台。旧帐务系统采用IBM S85 + AIX 4.3.3 + Oracle8.1.7.4，迁移后的新帐务系统采用HP RP7420 + HP-UX 11i V2 + Oracle8.1.7.4

3)     时间有限。业务要求整个搬迁过程不能超过48小时，业务中断不能超过2次，每次不超过4小时。

4)     数据准确性要求高。由于是帐务系统，数据库记录的都是客户资料、欠费缴费信息和计费信息。如果出现数据准确性问题，将导致整个营业收费系统的紊乱，引起客户的投诉。

面对如此高难度和复杂的工程，杭州电信和相关集成商首先邀请国外厂商Q公司来协助完成搬迁，但Q公司6周的测试以失败告终。在离搬迁日期仅剩3周的时候，杭州电信和相关集成商邀请DSG公司协助完成迁移。

 

解决方案

针对客户的实际情况，DSG公司提出：

1） 在技术上采用DSG RealSync软件实现大容量数据库的跨平台快速同步

DSG RealSync软件支持不同平台上的Oracle数据库之间的快速同步，包括首次数据同步和增量数据复制。DSG RealSync采用完全逻辑的方式进行数据同步，可以跨越不同平台；并且在数据同步过程中，采用了DSG独有的XF1文件格式、数据流压缩技术和快速数据抽取和装载技术。在配置多个同步通道的情况下，可以快速将现有数据库内的数据同步到目标数据库，并在其后将同步期间的增量数据一并复制到目标数据库实现数据追平。目前DSG RealSync支持主流平台(HP/IBM/SUN/Comppaq/PC)上的Oracle各版本(Oracle8i – 10g)之间的数据复制。

2） 在工程上设计了环境初始化、软件调试、数据初始化、预割接测试和正式割接等5个步骤来实现数据的平稳迁移。

帐务系统的搬迁设计到大量繁琐的技术细节。为此:

l         环境初始化阶段

主要是按照旧帐务系统的配置在新帐务系统上划分PV、VG、LV、CLUSTER、配置操作系统、创建新帐务系统数据库(OPS)、配置数据库参数、创建表空间、回滚段、用户等。同时配置数据库的TNS和LISTENE、PASSWD文件等。在此期间，根据数据库以往的使用情况，适当进行优化。

l         软件调试阶段

在新旧帐务系统主机上安装DSG RealSync软件，并进行软件调试和优化配置。包括通道的划分和用户及表在不同通道中的分配，问题表的检验和新数据库的环境测试等。

l         数据初始化阶阶段

在调试好环境和软件的情况下，重新启动RealSync软件，对所有数据进行同步，包括表、索引、存储过程、触发器、序列、数据库链接、同义词等等。

l         预割接测试阶段

在完成所有对象和数据的同步及数据的追平后，对迁移到融在系统的数据进行检验，包括对象个数和状态、表记录数和内容、序列的值的大小，以及进行业务测试，确认数据一致和对象状态正确。此时，维持系统的同步状态。

l         正式割接阶段

在约定的搬迁日期，停止旧帐务系统上的业务，等待最后的数据完成复制，在此对业务停止后的新旧帐务系统进行数据检验。

在此基础上，变更新旧帐务系统主机的IP地址，测试客户端链接，完成数据迁移。

完成迁移后，继续跟踪观察，直到系统通过月底出账考验。

 

 

应用效果

本次迁移过程相当顺利，从环境准备到迁移完成(04.11-04.29)，共使用3周不到的时间；迁移当日，比原计划提前3小时完成迁移工作。迁移后数据库运行正常，顺利通过月底的出账考验。同时，经过迁移的优化，消除了大量的数据库碎片并充分发挥了新设备的性能优势，新帐务系统的处理能力比旧系统提高3-4倍。

在本次系统迁移中，DSG RealSync软件表现如下特性:

1)    数据准确性高。

在迁移过程中检验以及迁移后的出账过程中检验，所有数据完全一致，没有一条记录丢失，也没有发现数据有误。

2)    不受异构平台影响

新旧帐务系统采用完全不同的存储、主机、操作系统。DSG RealSync完全不受这些异构平台的影响，同步及复制都正常。

3)    同步效率高

对于2.9TB的数据库，采用8个数据通道同步，最快的通道完成300GB的数据导出仅用1.5小时；所有通道完成源端抽取及目标端装载和创建索引所用时间为42小时。而如果使用Oracle Export/Import工具来完成，完全导出数据就需要3-4天，装载完成则需要约1周时间。

4)    复制时延小，数据追平快

完成首次数据同步后，追平增量数据仅使用了1小时。

5)    对生产系统影响小

在整个迁移过程中，仅需要停业务1次，即最后进行正式迁移时需要停业务追平最后数据和进行数据校验。停业务时间约2小时。

在此之前，所有操作均在线进行。在首次数据同步过程中，占用系统CPU约10-20%；完成首次数据同步后，占用CPU少于1%。

6)    操作简单方便，流程可控

采用RealSync软件进行迁移，操作相当简单方便。无须借用其他手段，仅使用RealSync提供的脚本和配置文件即可。在整个迁移过程中，操作流程都可控、可逆，因此，迁移过程无风险。