kettle 数据同时插入删除问题
来源:互联网 发布:任务管理 知乎 编辑:程序博客网 时间:2024/05/19 16:49
在用kettle进行数据同步时,发现一个问题:目的数据库的数据少于源数据库的数据,丢失的数据去哪里了呢?
先上图:
步骤1:从源数据库抽取数据
步骤2:删除目的数据库的数据
步骤3:插入到目的数据库
但是问题来了,这么简单的一个过程,到底是哪里出了问题呢?
首先,我们需要了解kettle的运行过程,如上图,步骤1,2,3虽然是按照顺序执行的,但是是并行的!也就是说步骤1,2,3都是一条条数据执行的。
可以想象,步骤1不断地在抽取数据,步骤2不断地删除数据,步骤3不断地插入数据,目的数据库最后数据的多少就看各自的运行速度了。
那么怎么解决呢?
首先,把数据删除的执行脚本放在最前面,与并行的步骤分离
然后,把红圈中的勾去掉,数据删除不再一条条执行
最后执行一下,数据缺失问题也解决啦!
阅读全文
0 0
- kettle 数据同时插入删除问题
- kettle删除指定数据
- SQL删除语句同时向备份表插入数据
- kettle 创建数据 乱码问题
- 删除一个表中的重复数据同时保留第一次插入那一条以及sql优化
- 关于SQL触发器的问题 ?同时删除多行,这些行插入到另一张表中?
- 插入更新删除数据
- 插入删除数据
- 插入、更新、删除数据
- 插入、更新、删除数据
- CListBox频繁插入删除数据时,闪烁的问题
- CListBox频繁插入删除数据时,闪烁的问题
- 关于kettle插入报错的数据到目标表
- 插入数据的同时,返回ID值
- JDBC中插入数据同时得到主键
- oracle同时向多表插入数据
- oracle同时向多表插入数据
- service同时向两张表插入数据
- 页面数据库特殊字符处理
- maven错误
- 单一职责原则
- [leetcode]#160. Intersection of Two Linked Lists
- Grafana+Prometheus打造全方位立体监控系统
- kettle 数据同时插入删除问题
- spring boot实战(第九篇)Application创建源码分析
- IT忍者神龟之Redis 错误1067:进程意外终止,Redis不能启动,Redis启动不了
- 21、TensorFlow 实现单层 Softmax 分类
- 数字图像处理matlab版第六章
- 大富豪3.4端IOS11修复教程
- unicode Entities for Symbols and Greek Letters
- Android MQTT使用详解
- ORA-12514: TNS:listener does not currently know of service requested in connect descri