LOSF(Lots of small files)存储问题
来源:互联网 发布:金十数据官网直播间 编辑:程序博客网 时间:2024/05/22 16:39
LOSF(Lots of small files)存储问题
1、影响I/O性能的关键因素
(1)诸如sys_open的系统调用开销
(2)数据寻址时间
(3)文件查询效率
(4)cache策略失效
(5)磁盘数据布局
(6)数据局部性
(7)CPU占用率高
2、针对关键因素的解决思路
(1)Big file或者raw block device作为大的存储容器
(2)SSD,增强数据局部性
(3)Hashtable, B+ tree, B* tree索引机制
(4)设计适合应用特征的cache管理策略
(5)Log结构,连续顺序存储
(6)挖掘数据局部性,优化设计on-disk layout及cache
(7)CPU占用率降低依赖于以上各项的改进
3、不同层次的解决思路
(1)存储系统
SSD、高端磁盘阵列、NAS、SAN、IPSAN,提高IOPS和读写速度,降低数据寻址时间。
(2)文件系统
选择适合应用特征的文件系统(reiserfs, ext4, reiser4),磁盘与文件系统参数调优。
(3)操作系统
内核裁剪,内核参数优化,冗余进程清除,网络接口、内存管理、块通用驱动模块优化。
(4)应用系统
计算与数据拆分,作业并行化,数据处理流水化,应用层cache设计,数据预测与预取,数据访问模式挖掘。
- LOSF(Lots of small files)存储问题
- losf
- losf
- Android have lots of intent
- Do Lots of Deliberate Practice
- Do Lots of Deliberate Practice
- Lots of Buttons的故事
- The Small Files Problem
- The Small Files Problem
- LOSF 海量小文件问题综述
- lots of "GET variable length limit exceeded"
- [Linux]oclHashcat Examples of lots of different hash types
- A Novel Approach to Improvingthe Efficiency of Storing and Accessing Small Files on Hadoop: a Case S
- Key Small Business Server 2008 Log Files
- Key Small Business Server 2008 Log Files
- UVa 1042 Lots of Sunlight (枚举&最优斜率)
- new module add in with lots of issues(part 1)
- new module add in with lots of issues(part 2)
- 内部类作用
- 1.1.8
- 窗口对象的自动清除
- 【华为金牌合作方】软件测试工程师及性能测试工程师招聘[长期有效]
- oracle 的两个替换函数 REPLACE TRANSLATE
- LOSF(Lots of small files)存储问题
- Windows XP多用户远程登录
- unix系统编程2
- 介绍几种不同的标志符号 CMC CPA CPE CMA
- 设为首页--加入收藏
- Dreamweaver 简单实现鼠标经过图片变换的方法
- IIS主机托管的FSO设置用户权限问题
- [转] 跟我一起写 Makefile
- 摘抄:教育就是教育(张楚廷)