数据抽取技术大全--欢迎大家补充
来源:互联网 发布:淘宝增加流量和点击率 编辑:程序博客网 时间:2024/04/30 02:29
数据抽取技术:
1 静态数据捕获
用于一、数据仓库初时化时,二、需要完全修改的数据
2 增量数据捕获
(1)# 通过交易日志,或数据库日志,包括诸如Oracle的Flashback query等日志捕获。可以使用 diff 工具帮助分析差异
(2) 从数据库触发器中捕获:触发器将信息写在一张增量数据变化表内(包括删除的信息)。其它集成组件定期读取该表。
(3) 基于日期和时间标记的捕获 / 类似的包括基于绝对自增id的捕获:无法解决删除问题
Oracle 10g以上版本和MS-SQLServer类似,有一个rowVersion,也可做类似的时间标记
如果某些源数据没有这些字段,那可以考虑再不破坏原有表的基础上增加一些上述的标记字段。可以先咨询源系统开发商。
(4) 对于拥有集合运算函数数据库例如oracle拥有minus,可以根据一些主键做集合运算,将差异结果存到单独的表中供其它程序读取。
(5)# 通过全表扫描比较来捕获:比较源数据的两个快照。当数据特别大时,性能成为问题。这是对于没有(3)中字段,且其它方法都不可
用时候的最差选择。可以充分利用各种分段扫描算法。
(6)# 从源应用程序中捕获:修改源应用代码
(7)定制自己的jdbc驱动程序:法一,直接修改或重写驱动程序。法二,使用AOP技术对现有的驱动程序的接口进行weaver,对捕获的SQL进行分析处理。
#表示通常很少使用
欢迎大家补充。
- 数据抽取技术大全--欢迎大家补充
- 数据抽取技术大全--欢迎大家补充
- 数据抽取技术大全--欢迎大家补充
- 数据抽取技术大全--欢迎大家补充
- 数据抽取技术大全--欢迎大家补充
- 数据抽取技术大全--欢迎大家补充
- 数据抽取技术大全--欢迎大家补充
- 数据抽取技术大全--欢迎大家补充
- 数据抽取技术大全--欢迎大家补充
- 数据抽取技术大全--欢迎大家补充
- 数据抽取技术大全--欢迎大家补充
- 数据抽取技术大全--欢迎大家补充
- 数据抽取技术大全--欢迎大家补充
- 浏览器兼容性问题,欢迎大家补充!
- 信息抽取技术-百家争鸣
- sql语法,有机会更新,欢迎大家补充
- 关于block的总结,欢迎大家补充
- 网页数据抽取技术调研
- 有空的时候请大家去给《Web性能测试实战》投票吧。
- 分析学中的若干空间:
- 不要为自己寻找理由
- 使控件在运行时不可见
- 对大连软件产业发展的几点忧虑
- 数据抽取技术大全--欢迎大家补充
- 关于上帝的笑话十则(爆笑)
- 一个陕西人看西域
- 如何转换日期格式
- FVWM的配置文件(王垠的)
- 感性,理性。。。
- asin ( ) 【C语言库函数源代码】
- [史]一口气读完。
- acos( ) 【C语言库函数源代码】