数据库I/O读写速度
来源:互联网 发布:ugg淘宝代购 编辑:程序博客网 时间:2024/05/29 14:08
工作中遇到的一个实际问题。
问题如下:
长时间,大量插入数据的速度慢的问题。
7*24小时的不间断想数据库中插入数据,单表的插入数据量平均目前平均35条/秒。有
40多个单表表都需要插入。插入数据的同时还要对40多个单表进行更新和查询操作。
如此频繁的对数据库进行操作的情况下,数据库的速度已经不能满足我们的需求了。
经过了一系列的SQL文,内存设置,缓存设置之后还是无法满足。
最后经过在linux下top进行分析,发现原来是orcale的I/O读写速度问题。并且硬盘处
理速度不及时还导致CPU %WA等待。
经过统计情况如下:
插入量:40*35=1400条/秒
查询量:40*100=4000条/秒
更新量:40*10=400条/秒
删除量:1400*66%=900条/秒
每秒处理共约:6700条数据。
这样一个int占4个字节,一个double占8个字节,一个varchar(200)占200个字节.....
一条数据有 800~1400个字节 按照平均一条数据1024个字节来算,就是1条数据占用
1Kb的空间。
那么硬盘最少要有6700*1Kb =6.7M 的读写速度。本来我们用的硬盘是7200的,极限的
读写速度是30M-40M/秒左右,为什么6.7M左右就承受不住了呢?
经过分析认为,硬盘的测试速度只是单一的读写。但是在频繁的读写删除面前远远达不到那个速度(磁头不停的切换,扇区不停的反转)
注意:这里请不要长生误区:6.7M是每秒的读写速度,由于我做了优化每秒还会删除插入数据的66%,这样最后保存到磁盘的每秒只有400K左右。
一天40G的数据 平均每秒400多K。
解决方案:表分区 + 磁盘阵列 + RAID0. 理论上能提高几十倍甚至几百倍的速度。
具体实现细节。。。略。。。。。。。
如果有人有兴趣知道可以留言探讨。
- 数据库I/O读写速度
- Linux 磁盘I/O读写速度检测
- i/o速度比较
- I/O读写总结
- java I/O 读写文件
- C++ 文件读写 I/O
- I/O流 文件读写
- 文件I/O流读写
- Python - I/O 文件读写 内存读写
- java 读写文件(I/O)
- linux I/O优化 磁盘读写参数设置
- Linux I/O优化 磁盘读写参数设置
- Java I/O 概述---文件读写总结
- i/o流读写大文件数据
- 一个简单的I/O读写锁
- Java I/O系统 文件读写
- 磁盘I/O读写为什么缓慢
- mysql 磁盘读写的I/O优化
- session.createQuery()与createSQLQuery()区别
- oracle 创建表和约束
- 触控鼠标 (使用手机控制电脑,支持IOS,android.OSx 和windows)进入初步推广阶段
- Android Fragment完全解析,关于碎片你所需知道的一切
- jQuery子窗体如何取得父窗体的元素
- 数据库I/O读写速度
- extern "C"的用法解析
- Maven 环境下使用 proguard-maven-plugin 插件混淆你的源码
- 抓包工具分析
- sqlalchemy 查询
- Linux系统下不让MySQL区分表名的大小写的解决办法
- java压缩、解压缩文件
- 一篇非常基础,简洁的介绍mestaploit的文章
- MyBatis和Hibernate的区别