搜索引擎的分页读取及索引的建立

请问高手：在做索引的时候，由于有些数据在数据库中，有些数据在本地；所以在建索引的时候，要分情况讨论。
1.当数据在数据库中的时候，怎么通过分页把数据库中的数据读出来，然后建索引？？
      目前：我能把数据库中的所有数据读出来，可是在建索引的时候，我读到1w多条的 时候，就会出现java.lang.outofmemory这个错误。
     希望哪位大侠指点一下。