关于数据批量入库解决方案
来源:互联网 发布:用户提高淘宝搜索质量 编辑:程序博客网 时间:2024/06/07 06:19
关于程序批量入库解决方案
下面小弟关于最近的一个批量入库解决办法与大家分享一下,由于是第一次博客,有什么不对,请大家多多指教
最近项目用到了大并发写数据库操作,当用只做了单条数据commit一次,这样做插入会很慢,数据库的压力也很大,当时自己的第一个想法就是改变提交方式,10条或100条提交一次,但是这样会有一个问题,如果数据始终达不到指定的数量,就不能提交。对后续的数据处理会有延迟。
采用数据表做数据补全解决方案:
与运维对接服务器配置与布署过程中,运维提出来了数据库写入批量提交方案,提到使用mongodb,但是我对此东西只听过没有研究过,以现在的技术水平非得研究个个把月的才能弄明白,所以自己想到了定时将数据称写入到文件,程序定时去刷到数据库中(业务需求允许数据有一定的延迟性10钟以内),开始我的解决方案时新生成一个数据文件,在数据库中插入一条记录,并标识状态为正在写文件,下一时间段新生成的文件重负此步骤,并更新上次写入文件的状态为可写入数据库,程序定时器定时读数据库,写入指定的文件,并把对应的文件写入数据库,把记录状态更新为已入库,此方案有一个问题我写完了才想明白,将来布署时会用的集群,这样集群中的程序访问的是一个数据库,如果集群1写完了自己的文件,并更新了数据库,那么集群2在起动任务时,在数据库找不到可入库的文件,这样就导致集群2 的文件并没有入库成功,这样就导致数据的丢失。最后的解决方案不用数据库,程序自读各的文件,在入库成功后,将文件的文件改名,加统一的后缀,这样如果程序失败或当机,可以按文件名来区写入的状态,方便来补数据。这样数据可以保证不丢失。
- 关于数据批量入库解决方案
- ASP批量导入EXCEL中数据入库
- 浅谈使用SQLBulkCopy批量数据入库
- Hbase数据批量入库实战流程
- Django之使用bulk_create批量数据入库
- C# Sql Server海量数据批量入库及更新
- C# Oracle海量数据批量入库及更新
- mybatis批量入库
- MyBatis批量入库
- 批量文本入库
- 批量导入excel入库
- yii2批量入库
- JPA日志批量入库
- ibatis 批量入库优化
- Hbase批量入库
- Struts2 批量数据提交解决方案
- 关于批量插入数据
- 【高并发简单解决方案】redis缓存队列+mysql 批量入库+php离线整合
- mysql与Oracle的一些操作区别
- 为了面试——java基础1
- eclipse编辑中的撤销操作
- Vim使用技巧
- 导出数据表到文件(excel、word等)
- 关于数据批量入库解决方案
- Android 筆記-Linux Kernel SMP (Symmetric Multi-Processors) 開機流程解析 Part(3) Linux 多核心啟動流程從rest_init到ker
- Java正则表达式——分组与捕获
- 补上一个BroadcastReceiver实例
- 欢迎光临我的博客
- Android Handler简介及使用 HandlerThread的使用
- 为什么Windows Phone 7不支持C++?
- wav文件格式分析详解和解析代码
- RHEL5 实现高可用HA集群+GFS+EnterpriseDB