科普数据迁移技术和方法论

今天我们来讨论下数据迁移相关知识，本篇内容实际上就是一次数据迁移知识普及。数据迁移是由专业工程师通过专业工具在客户数据中心进行的专业数据搬迁活动，既绕口又晦涩。但即使连用了三个专业来形容数据迁移也是一点都不为过，因为客户的数据太重要，任何疏忽或闪失都会让客户承担巨额损失或倾家荡产，所以对实施工程师的要求是专业、专业、还是专业。

为什么要进行数据迁移

数据迁移的目的就是为了给有价值的数据匹配更适宜的居住环境，让其在生命周期的每个阶段更安全、更可靠、更有效的为客户服务。一切数据搬迁的过程在广义上都可以成为数据迁移。

那么，什么时间需要做数据迁移呢？数据一生要经历生产、传输、计算、保存、归档和销毁的生命周期循环，同样，跟数据打交道的设备需要配合数据实现其价值。此外，这些设备其自身还需遵守生产、销售、使用、过保、退市和销毁的生理伦常。数据迁移往往就发生在因为设备过保、EOX、寿命、性能、容量等原因不适合数据居住的时候，这个时候，由于数据服务受限或受阻，而无法满足客户对数据使用需求。

正常情况下，数据设备的生命周期一般只有3-5年，然而数据的价值随着时间推移会慢慢贬值，但其价值时间随着数据类型不同一般会5-10年，有些核心数据甚至更久。这就导致原配设备无法陪伴数据走到生命的最好的一刻，所以数据会面临二婚的选择和考验。对已经习惯了原配设备的数据来说，新设备不但要顾及数据原有使用习惯和方式，还要考虑解决之前原配存在的问题。这个难题就需要专业、专业、还是专业的工程师来解决。

数据迁移的难题和挑战

面对企业级应用，数据迁移不仅仅是将数据从一个地方移动到另一个地方，而是要考虑数据安全性、兼容性、停机时间等大量复杂因，同时具备第三方软硬件专业技能等。

数据安全性是数据迁移的基本需求，如何在整个数据迁移可能多达上百步的操作过程中，保证数据的安全性是一项不小的挑战，不仅需要考虑迁移前的备份，还要考虑清楚迁移过程中数据的多份保存，出现异常问题后的安全回退步骤等。

兼容性是整个数据迁移方案得以实施的前提，将新的设备放入到一个在线运行复杂的业务系统中，首先需要理清纷繁的服务器、交换机、HBA卡、OS、卷管理软件、集群等一大堆软硬件的兼容性。如果存在兼容性问题，还需要考虑如何替换和规避遇到的问题。

停机时间就是业务迁移时间窗，常常也是客户最关心的话题，很多情况下客户都是要求在线迁移。随着数据量日益扩大和业务的逐渐复杂，每次迁移停止和启动业务都需要消耗数小时时间，所以每一次数据迁移都是一场与时间赛跑的游戏，要求操作过程的全程可控，不仅要对正常流程的可控，还要做到在异常情况下的可控，保证即使出现各种异常，还能够正常时间内完成迁移或者回退。

第三方软硬件的技能是数据迁移是一种专业必备条件，不仅需要熟悉设备的基本操作，还要熟练上层的各种软硬件如服务器、交换机、操作系统、卷管理、集群、数据库等操作，这些部件都和新加入设备有绑定关系，除了要将数据迁移过来，还要修改上层的绑定关系，让其可以顺利从迁移后的新系统上读取到业务数据，这样才能保证数据迁移的完整成功。

因此数据迁移对专业人员的经验要求也是非常苛刻，同时由于实际交付项目管理复杂等各方面综合因素的影响，导致数据迁移一直在业界是一项复杂的解决方案。

主流专业数据迁移技术

数据迁移从数据层次和迁移技术上主要分为基于应用的迁移、基于卷管理的迁移、基于网络的迁移、基于存储层的迁移四个主要层次。

总体来看，数据迁移可以通过数据路径组网方式进行划分，并且汇集了各种场景下的迁移方案。

基于应用及虚拟的迁移

数据库迁移方案

对于数据库，一般可以从存储层或网络层面进行迁移，但是如数据库的跨平台、跨介质的迁移场景或者是一些对停机时间要求很高的场景，涉及到设备类型、数据的变更、或在线迁移等，只能从数据库层面来迁移，或者从数据库层面来迁。

虚拟机迁移方案

VMware、Hyper-V等Hypervisor都提供了在线替换迁移功能，如VMware的Storage vMotion和Hyper-V的Live Migration都可以实现在线的数据迁移。虚拟机的在线迁移功能可以实现无中断的迁移，但是并不是所有场景都可以使用这种方案进行迁移，如RDM场景、VDI场景等高级场景。因此虚拟机迁移需要首先核对是否场景限制上能够满足。

文件系统的迁移

对于文件系统场景，由于各个厂商的NAS元数据结构不一样，一般都需要通过文件迁移工具从文件层进行拷贝和复制，保留文件的属性和权限，而不能从底层块数据层进行迁移。所以文件系统相对简单，常见的有Windows提供的Robocopy和Linux提供的Rsync工具。

Rsync是一个远程数据同步工具，可通过 LAN或WAN 快速同步多台主机间的文件。Rsync 可以搭配 rsh 或 ssh 使用，Rsync server 会打开一个服务端口等待对方 Rsync 连接。通过口令查核后则可以开始进行文件传输。

基于卷管理软件迁移

在大多数操作系统上都提供卷管理软件，将SAN裸设备进行行聚合或者拆分后提供给上层应用使用，因此绝大多数应用数据都通过卷管理软件进行管理，所以卷管理软件自带的镜像和迁移功能常常成为在线数据迁移方案的一种选择。

在不同的操作系统下，主流的卷管理软件如AIX、HP-UX和Linux下的LVM、Solaris下的SVM、Window下的LDM、Vertias通用的VxVM和Oracle自带的ASM等，通过这些不同的卷管理软件实现数据在线迁移到新的目标存储。

• VxVM是Veritas Volume manager的简写，这是一款使用比较广泛的第三方卷管理软件，可以运行在Windows、AIX、HP-UX、Solaris、Linux等各个操作系统平台下，其本身稳定性较高，支持多平台，可以通过其磁盘镜像的功能实现数据迁移。

• LVM是多个操作系统默认自带的卷管理软件，如AIX的LVM、HP-UX的LVM、Linux的LVM等，虽然他们都叫LVM，且功能原理也很类似或相同，但操作上却完全不一样，因此需要开发不同操作系统下的LVM卷镜像方案。

• SVM是Solaris下自带的卷管理软件，但其本身和其他的LVM在原理和功能上也是类似的。

• LDM是Windows下自带的卷管理软件，其功能原理和LVM类似。

• Oracle ASM是Oracle下的自带存储管理软件叫ASM，其自带的Rebalance功能可以进行在线迁移，但相比VxVM，Rebalance迁移方式非镜像方式，其通过动态平衡功能将数据从一个数据空间在线移动到另一个数据空间。

基于网络功能的迁移

虚拟化网关产品通过自带的存储虚拟化功能可以实现迁移功能。如Huawei VIS、IBM SVC、EMC Vplex和Netapp V系列等。这种方式首先是通过虚拟化网产品将源存储接管，让源存储和业务主机之间的所有数据都通过网关产品进行传递，再通过网关产品将数据完整的从块级别镜像复制到目标新存储。

这种方案具有很强的普适性，可以在大部分的场景下使用。但是由于镜像复制只是实现了数据复制到目标新存储，而原来的业务主机上的多路径，卷管理，集群和数据库等软件都是和源存储进行绑定的，因此在数据同步到目标存储的后，还需要将业务和源存储的绑定关系替换为目标存储，这个过程是整个数据迁移过程中最复杂的部分。

基于存储功能的迁移

存储设备本身也具备一些数据迁移功能，如LUN拷贝和远程复制。LUN拷贝可以把目标新存储作为一个服务器，首先将源存储映射到目标新存储，再将目标新存储上的所有数据读出来写到目标存储上。远程复制可以从数据块层面将数据从一台存储同步到远端的另一套存储，但一般要求源存储和目标存储都是来自一家的同平台产品。此功能经常被用于存储的跨地域数据迁移。

LUN拷贝功能支持全量拷贝和增量拷贝，但一般在数据迁移中，常常只使用全量拷贝，所谓全量拷贝(一般需停止业务)，即把源LUN数据从头到尾进行一次完整的至目标LUN的拷贝。

一句话总结: 各种迁移方案的光环下隐藏着专业工程师的汗水，每个数据迁移项目和任务都是一次未知的挑战，只要凭借丰富的经验和不断的演练才能保障客户的数据在生命周期管理期间有更好的明天。

温馨提示：请搜索“ICT_Architect”或“扫一扫”下面二维码关注公众号，获取更多精彩内容。