mysql 控制每次批量插入5w条记录思路
来源:互联网 发布:最强牛股选股公式源码 编辑:程序博客网 时间:2024/05/22 17:02
由于业务中使用到word分词,所以数据量比较大,需要把分出来的结果插入到数据库,每次插入1条的话,非常慢,所以使用批量插入
具体思路如下:
long start=System.currentTimeMillis();if(keyWordList!=null&&!keyWordList.isEmpty()){//最终插入的条数Integer effectRow = 0;//总共需要插入的条数int totalNum=keyWordList.size();System.out.println("keyWordList总长度:"+totalNum);//每次插入的条数int onceNum=50000;for(int i=onceNum;i<totalNum;i+=onceNum){effectRow += keyWordService.insertBatch(keyWordList.subList(i-onceNum, i));System.out.println("循环次数:"+i);}effectRow += keyWordService.insertBatch(keyWordList.subList(totalNum/onceNum*onceNum, totalNum));long end=System.currentTimeMillis();System.out.println("成功插入关键词:"+effectRow+";所用时间:"+(end-start)/1000+"秒");}优化后的结果很明显:
keyWordList总长度:96221
循环次数:50000
成功插入关键词:96221;所用时间:4秒
keyWordList总长度:38314
成功插入关键词:38314;所用时间:1秒
keyWordList总长度:161874
循环次数:50000
循环次数:100000
循环次数:150000
成功插入关键词:161874;所用时间:6秒
各位高人如有其他好的方法可以一起探讨
1 0
- mysql 控制每次批量插入5w条记录思路
- mysql 控制每次批量插入5w条记录思路
- MySQL像数据库批量插入100w条数据
- mysql中一条insert语句批量插入多条记录
- MySQL使用INSERT插入多条记录, 批量新增数据
- 基于mysql 批量插入100w测试数据
- mysql循环插入52w条数据
- mysql插入多条记录
- MySQL插入多条记录
- mysql 批量插入10000条测试数据测试
- SQLite一条SQL语句插入多条记录,批量插入
- Hebernate-hql 插入一条 和 批量插入多条记录
- mysql存储过程插入40W条数据
- mysql语句:批量更新多条记录
- mysql 更新 10W条记录速度很慢
- hibernate批量插入思路
- mysql 批量插入与单条插入 的效率比较
- mysql 快速插入(insert)多条记录
- android 自定义ImageView控件实现圆形图片-适用于用户头像
- android 屏幕适配
- Python
- Android Webview 加载显示比iOS慢的问题
- 分析View的第一次绘制是在哪里完成的
- mysql 控制每次批量插入5w条记录思路
- 2440超详细uboot移植笔记(八)------支持NAND启动
- ConcurrentHashMap多线程下比HashTable效率更高
- hexo无法上传到github
- yii 多文件上传 php上传类代码
- 《深入分析JavaWeb技术内幕》读书笔记七.Servlet,Session与Cookie
- Tomcat服务器正常启动但是网页报404错误问题
- .NET 即时通信,WebSocket服务端实例
- 跨网段主机无法ping通