将大数据,分批分段,插入数据库
来源:互联网 发布:淘宝火锅底料哪个好吃 编辑:程序博客网 时间:2024/05/24 05:52
/** * @description 分批插入数据 * 每100条循环一次 * @date 2016年11月14日 下午7:02:47 * @param vcardlist */ private void batchInsertVcard(List<VcardInfo> vcardlist) { // 1.分页数据信息 int totalSize = vcardlist.size(); // 总记录数 int pageSize = 100; // 每页N条 int totalPage = totalSize / pageSize; // 共N页 if (totalSize % pageSize != 0) { totalPage += 1; if (totalSize < pageSize) { pageSize = vcardlist.size(); } } System.out.println("循环保存的次数:"+totalPage);//循环多少次 // 组装新数据 List<VcardInfo> newVcardlist = new ArrayList<VcardInfo>(); for (int pageNum = 1; pageNum < totalPage + 1; pageNum++) { int starNum = (pageNum - 1) * pageSize; int endNum = pageNum * pageSize > totalSize ? (totalSize) : pageNum * pageSize; System.out.println("开始页:" + starNum + "结束页-------------" + endNum); for (int i = starNum; i < endNum; i++) { newVcardlist.add(vcardlist.get(i)); } vcardMapper.batchInsert(newVcardlist);// vcardlist.removeAll(newVcardlist);// 移出已经保存过的数据 newVcardlist.clear();// 移出当前保存的数据 System.out.println("第" + pageNum + "次结束----------"); } }
1 0
- 将大数据,分批分段,插入数据库
- 将大数据,分批分段,插入数据库
- 分批次插入mysql:一次性插入mysql两万以上数据造成数据库假死
- RadioButton [将数据插入数据库]
- php分批次批量插入数据
- php+mysql实现数据分批插入
- 将大数据写入数据库
- 将大容量数据插入DB
- [小技巧]分批取数据库数据
- springmvc实现excel数据分批导入数据库
- Hibernate分批插入数据后数据条目不一致
- 通过表单将数据插入数据库
- 将excel数据解析并插入数据库
- 将DataTable 数据插入 SQL SERVER 数据库
- java 将TXT中数据插入数据库
- c# 快速 将大量数据插入数据库
- Django 将数据批量插入数据库bulk_create()
- Django 将数据批量插入数据库bulk_create()
- 非静态成员函数与this指针
- Dijkstra+堆优化模板 (手写堆简单易懂)
- JAVA代码覆盖率工具JaCoCo-实践篇
- Linux进程和线程的发展
- iOS中利用NSURLSession进行文件断点下载
- 将大数据,分批分段,插入数据库
- 我的第一篇博客
- 深入理解iOS开发中的BitCode功能
- 二进制中1的个数
- Python
- 算法学习系列之求最大公约数
- 命令相关
- 分治算法
- Kylin性能调优记——业务技术两手抓