请教各位高手关于数据采集优化问题

来源:互联网 发布:网站域名及ip地址查询 编辑:程序博客网 时间:2024/05/08 22:47

各位高手
大家好!有一个问题想请教大家(java方面)。
    有一批量采集程序每次采集5000条,对student表进行采集,该表有100多万条记录(oracle数据库)
如:第一次采集如下:
  select aa,bb,cc,dd,ee,ff,gg,hh,ii from
  (
    select aa,bb,cc,dd,ee,ff,gg,hh,ii,rownum rown
    from student  where 1=1 and login_date between '20080401' and '20080501'
  )where rown >= 1 and rown <= 5000

第二次采集如下:
  select aa,bb,cc,dd,ee,ff,gg,hh,ii from
  (
    select aa,bb,cc,dd,ee,ff,gg,hh,ii,rownum rown
    from student  where 1=1 and login_date between '20080401' and '20080501'
  )where rown >= 5001 and rown <= 10000

  ....

其中子查询
select aa,bb,cc,dd,ee,ff,gg,hh,ii,rownum rown
from student  where 1=1 and login_date between '20080401' and '20080501'
在每次采集时都一样,只有外部查询的rown在变动。这样每次采集时都要从数据库里面先得到子查询的结果,导致采集速度慢。
不知道利用缓存能不能提升速度,能不能把子查询的部分放到缓存里面,这样每次采集直接从缓存里面得到子查询的结果。
我用的是proxool-0.9.0RC3数据库连接池,如何跟缓存框架结合使用,用哪个缓存框架比较好。
请各位高手有空指教,谢谢!

  礼
             
                                                                                                           赵军奇
                                                                                                           QQ:448178351
                                                                                                           EMAIL:junqi39@163.com
                                                                                                           2008-05-06

原创粉丝点击