jpa保存数据过慢的处理办法

1、需求说明

我是一个爬虫工程师，再用webmagic解决实时爬去数据提供给其他系统时出现了这个问题，由于这个系统是分布式爬去系统，对方要获取爬虫数据，只能轮询查看爬虫状态，我要做的是把爬出的数据及时返回给轮询的用户（爬取数据并返回数据需要在30秒内完成）。在爬取一个用户的数据时，这个用户的数据有200条左右使用jpa保存数据到数据库中竟然要1分钟作用（由于不精通jpa，查不出原因），还有就是爬去数据也要10-30秒的时间。所以不能走先把数据保存到数据库，再查数据返回给用户的路子了。

2、解决办法

把数据放到缓存中（我用的是redis，所以就放到redis中了），由于200条的数据是分散在多个页面中的，所以还要在缓存设置一个计数器记录爬取页面的个数。并同时把这些保存在缓存中的数据设置一个失效时间（缓存很珍贵，不能一直占用缓存）。