请教各位高手关于数据采集优化问题
来源:互联网 发布:网站域名及ip地址查询 编辑:程序博客网 时间:2024/05/08 22:47
各位高手
大家好!有一个问题想请教大家(java方面)。
有一批量采集程序每次采集5000条,对student表进行采集,该表有100多万条记录(oracle数据库)
如:第一次采集如下:
select aa,bb,cc,dd,ee,ff,gg,hh,ii from
(
select aa,bb,cc,dd,ee,ff,gg,hh,ii,rownum rown
from student where 1=1 and login_date between '20080401' and '20080501'
)where rown >= 1 and rown <= 5000
第二次采集如下:
select aa,bb,cc,dd,ee,ff,gg,hh,ii from
(
select aa,bb,cc,dd,ee,ff,gg,hh,ii,rownum rown
from student where 1=1 and login_date between '20080401' and '20080501'
)where rown >= 5001 and rown <= 10000
....
其中子查询
select aa,bb,cc,dd,ee,ff,gg,hh,ii,rownum rown
from student where 1=1 and login_date between '20080401' and '20080501'
在每次采集时都一样,只有外部查询的rown在变动。这样每次采集时都要从数据库里面先得到子查询的结果,导致采集速度慢。
不知道利用缓存能不能提升速度,能不能把子查询的部分放到缓存里面,这样每次采集直接从缓存里面得到子查询的结果。
我用的是proxool-0.9.0RC3数据库连接池,如何跟缓存框架结合使用,用哪个缓存框架比较好。
请各位高手有空指教,谢谢!
至
礼
赵军奇
QQ:448178351
EMAIL:junqi39@163.com
2008-05-06
- 请教各位高手关于数据采集优化问题
- 请教各位高手一个问题?
- 菜鸟请教问题!希望各位高手帮忙!
- 请教各位高手一个数据库连接问题
- 我想请教各位高手一个问题!
- 请教各位高手,急!
- 请教各位高手
- 请教各位高手
- 请教各位高手
- 请教各位C/VC高手一个极其郁闷的问题
- 请教各位.NET高手们
- 请教高手一个关于msdn的问题
- 请教高手关于delphi中的一个问题
- 请教高手关于LocationSensor使用的问题
- 请教各位一个问题?
- 请教关于asp优化问题
- 数据同步问题,请各位高手相救!!
- 有个关于DetailsView的问题请教各位大虾
- 理解Java ClassLoader机制
- RTF(rich textformat)富文本格式
- html自动跳转
- 循序渐进讲解数据表的十二个设计原则
- 一个数据库操作类
- 请教各位高手关于数据采集优化问题
- ssl加密的方法
- java 初始化顺序
- 火花、火种、火炬——中国软件外包企业创新观察
- “英雄最怕老街坊”
- ASP.NET应用程序结构及安全规划
- 转 悟透JavaScript
- VSS2005源码设置
- 动态读取ResultSet