优化批量更新,新增SQL操作
来源:互联网 发布:张艺兴新经纪人知乎 编辑:程序博客网 时间:2024/05/01 15:30
今天碰到一个恶心的问题。
insert into table1(field1, field2....., fieldx)
select field1,field2,....fieldx from .....
我用了这种形式的批量更新。在小量数据库上运行一点问题都没有,但是当我在一个大数据量的数据库上跑时,各种问题都出现了。
在这个sql的子查询中
select field1,field2,....fieldx from .....会返回一个1000w的结果集。
一开始运行速度奇慢无比,等了足足3个小时都没有运行完。我开始以为是由于那个复杂查询造成的。但是发现数据库这时候压根都连不上。我就去问了dba,dba发现原来是log archive把磁盘空间用完了,让我清除之后再试。结果还是同样问题。
后来就开始google查询资料。结果发现这个原因是因为logging的设置。大量的资料都说明使用archive模式,会造成批量更新的效率急剧下降。于是参考网上资料,我修改了logging属性,并且用了一个很特殊的Insert tips
insert /* +append */ into table1 () select ... field. from ...
除此之外,我还发现最好的办法是先disable索引,在批量操作完了之后,enable索引。
用了这两招后,还是不行,这时候直接就报表空间扩展不够的错误。我增加了表的扩展空间,再试,效果不错。所有的问题不在出现了。
我不是数据库专家,希望有经验的人多给指导。
- 优化批量更新,新增SQL操作
- MyBatis批量新增、更新
- EF批量新增优化
- MyBatis批量新增和更新
- MyBatis批量新增和更新
- SQL批量操作性能优化方案
- SQL基本操作 - 新增、查看、更新、删除数据库
- SQL基本操作 - 新增、查看、更新、删除表中数据
- Hibernate批处理操作优化 (批量插入、更新与删除)
- Hibernate批处理操作优化 (批量插入、更新与删除)
- Hibernate批处理操作优化 (批量插入、更新与删除)
- Hibernate批处理操作优化 (批量插入、更新与删除)
- Hibernate批处理操作优化 (批量插入、更新与删除)
- Hibernate批处理操作优化 (批量插入、更新与删除)
- Hibernate批处理操作优化 (批量插入、更新与删除)
- Hibernate批处理操作优化 (批量插入、更新与删除)
- Hibernate批处理操作优化 (批量插入、更新与删除)
- mybatis如何实现批量更新和插入新增实例详解(附SQL以及mapper配置)
- text to scene 文景转换
- main函数之前--真正的函数执行入口或开始
- Struts2的不能找到文件的错误
- 机器如何区分和判定指令和数据
- eclipse openoffice
- 优化批量更新,新增SQL操作
- sitemesh的html中文乱码, 加载缓慢, 浏览器显示长时间加载
- VC++创建WIN7电源管理方案
- [翻译]AGG reference 之 Scanline Containers
- 各种密码破解,解决你燃眉之急
- 有一种单身叫“宁缺勿滥”
- 痛苦的捂住脸扭向一边
- 一个IT人士的个人经历,给迷失方向的朋友 2010.6.9
- 快累死了