elk之磁盘写入性能
来源:互联网 发布:手机淘宝店铺首页群聊 编辑:程序博客网 时间:2024/05/22 13:12
1.基本概念
index的shard的数量会决定数据同时写入多少个磁盘
注:默认JVM是1GB,未调整
注:未调整index的副本数
注:未调整index的shard数
以上三点均会影响写入效率。
环境1:
1.数据流:logstash(127.0.0.1)->elasticsearch
2.磁盘:12个盘,SATA
3.集群规模:2台
4.qps峰值:1700/s
5.磁盘IO:100%
环境2:
1.数据流 :logstash(127.0.0.1)->elasticsearch
2.磁盘:单磁盘,SSD
3.集群规模:3台
4.qps峰值:30000/s
5.磁盘IO:50%
2.注意事项
如果index太大,比如数据超过500GB,则会影响数据的写入速度,建议按天/小时或者更小的粒度切割index
小结:
1.热数据一定要写到SSD
2.需要控制index的大小
End;
0 0
- elk之磁盘写入性能
- elk之高性能集群搭建
- ELK性能优化
- 解你的磁盘之使用bonnie++测试磁盘性能
- 了解你的磁盘之使用bonnie++测试磁盘性能
- Linux性能之磁盘I/O
- ORACLE数据库性能优化之-->内存磁盘
- KVM 性能优化之磁盘IO优化
- XZ_Swift之加载本地json数据、将json数据写入磁盘、从磁盘读取json数据
- 将位图写入磁盘
- jffs2文件系统磁盘写入
- 将字符串写入磁盘
- hadoop磁盘写入流程
- elk之必备插件
- elk之压测
- elk之nginx
- ELK之ElasticSearch
- ELK之Logstash
- 操作整数-bfs的优化剪枝
- 使用emacs进行时间管理(2)——基本任务管理[转]
- The Responder Chain(响应者链)
- BRIEF
- Cappella分布式文件系统安装文档
- elk之磁盘写入性能
- JZOJ.4300[NOIP2015模拟11.3]装饰大楼 解题报告
- R语言︱基本函数、统计量、常用操作函数
- leetcode 134. Gas Station
- PyQt5-Beginner-tutorial-part 2
- 2016.4.18(js—对象基础学习笔记)
- OpenCV2.4.10之samples_cpp_tutorial-code_learn-----ImgProc(图像处理)
- 【NOIP模拟】装饰大楼
- leetcode——已序链表合并