merge 语句实现数据的差异传输
来源:互联网 发布:费洛伊德算法 编辑:程序博客网 时间:2024/05/01 12:55
最近数据库升级到2008,研究了一下,发现有一个很好用的新功能,merge 语句加上存储过程,可以实现数据的差异传输,源表的增删改,都可以使用 merge 语句,把数据更改应用到目标表上,我们原来一个2亿多条记录的表,完全传输一次需要3个多小时,使用这个方法进行数据传输,首次花的时间和原来差不多,但是在以后的定时作业里面,看到传输时间只有不到 10分钟了,经大量数据抽样检查,数据是完全相同的,通过优化,以及增加作业的频率,可以实现数据更短的时间差,这对于表比较大,而且需要进行不定期同步的情况来说,节省了不少时间,当然,数据库镜像 和 数据发布订阅也能解决这个问题,但是对应用比较简单,数据同步实时性要求不高,数据量巨大的情况,这个方法部署起来还是相对简单一些的,呵呵
这个方法非常实用,但是还存在一些局限性,要根据每个表的不同,需要单独建立存储过程,这点比较繁复,有没有更好的方法,能使用在所有的表上呢??
先把单独一个表的情况,发出来让大家分享一下,欢迎各位大侠提出更好的解决办法,能够实现多表通用
1:先在目标服务器上建立一个到源服务器的链接服务器,名字 xx2008(比较简单,不详细说了)
2:在表里面,增加一个字段 updatetime,记录数据更新时间,同时表里面要有 id 自动增加字段
3:以原库名 c_001 , t_001 表为例,以在目标服务器上建立存储过程(以下是例程,要提高效率的话,还可以优化过程)
4:建立作业,定时调用存储过程
Create PROCEDURE [dbo].[backup_001]
AS
BEGIN
SET NOCOUNT ON; SET IDENTITY_Insert t_001 ON
merge t_001 d
using
(SELECT * FROM OPENQUERY (xx2008 ,'select * from c_001.dbo.t_001' ) ) s
on (d.id=s.id and d.updatetime<>s.updatetime)
WHEN NOT MATCHED BY SOURCE THEN delete
when matched then
update set
d.f1=s.f1,
d.f2=s.f2,
d.f3=s.f3,
......
d.updatetime=s.updatetime
when not matched then
insert (d.f1,d.f2,d.f3,......d.updatetime)
values (s.f1,s.f2,s.f3,......s.updatetime);
SET IDENTITY_Insert t_001 OFF
END
- merge 语句实现数据的差异传输
- sql2008使用merge语句实现数据差异传输
- sql2008使用merge语句实现数据差异传输
- SQL Server-使用Merge语句实现表数据之间的对比同步
- Oracle 使用MERGE INTO 语句更新数据的脚本
- MERGE语句的使用!
- Merge语句的应用
- Merge 语句的使用
- MERGE语句的使用
- Java使用UDP实现数据的传输
- python_udp数据报传输的实现
- 关于channel实现数据的传输
- ajax传输数据的业务实现
- 如何实现两个JSP数据的传输
- 通过JobDataMap实现数据的传输
- 基于传输层差异的Socket分类
- 基于传输层差异的Socket分类
- Oracle 使用MERGE INTO 语句更新数据
- Oracle Form 常见假锁(记录已经被另一个用户更新,重新查询以查看修改)
- 关于正则匹配的异常捕获
- 愿 化 泥 土
- pku2079wa
- 片手使用
- merge 语句实现数据的差异传输
- pku2318 自己想的 超时
- STL map常用操作简介
- 鱼还是熊掌:浅谈多进程多线程的选择
- Jquery使用stopPropagation需要注意的问题
- 运维总结
- MFC异常与C++标准异常
- 模拟电子技术15 25------——放大电路 动态分析 交流负载
- libxml 关关键字解析xml文件的例子