ELK性能优化
来源:互联网 发布:视唱练耳软件 编辑:程序博客网 时间:2024/05/18 03:08
上一篇文章中,我把logstash和ES部署到同一台机器中,遇到的问题是,logstash进程经常不工作(cpu消耗为0),或者干脆退出,通过增加、减少logstash进程数,线程数,堆栈大小,batch_size大小,logstash都不能正常工作。
通过设置ulimit -c unlimited,得到崩溃后的core文件,能看出是系统内存不够所致。后来发现kafka集群中的3台机器负载很低,将logstash部署到这3台机器上,每台机器启动4个进程,每个进程开启4个线程读取kafka。ES集群的2台机器不再运行其他服务。目前整个系统运行稳定。
另一个问题是,logstash从kafka取出数据放到ES中的速度一直上不去【每秒2万条记录不到】,ES集群的负载也挺低,通过增大logstash的启动参数-b -w的值,同时增大配置文件flush_size和idle_flush_time的值,速度有了较大的提升,可以达到每秒4万条记录。
0 0
- ELK性能优化
- ELK平台性能优化(不断完善中)
- elk之磁盘写入性能
- ELK的一次吞吐量优化
- 记录一次ELK集群优化
- elk之高性能集群搭建
- ELK(八)ElasticSearch2.X版本优化
- ELK
- ELK
- ELK
- ELK
- ELK
- elk
- ELK
- ELK
- ELK
- elk
- ELK
- 正则表达式-匹配密码验证(密码强弱等级,不能匹配中文,匹配数字 字母 字符)
- struct结构的内存对齐
- python小练习2:删除列表中重复的元素
- Android 反编译 -smali语法
- PHP模拟登陆
- ELK性能优化
- Codeforces 450B Jzzhu and Sequences(矩阵快速幂)
- Ubuntu下格式化U盘的方法(基于格式化命令)
- 自定义实现ListView左滑删除
- 动画的简单应用
- 关于字节的换算
- MITM(中间人攻击)原理及防范初探(一)
- NOIP模拟题 by天津南开中学 莫凡[tarjan][树剖][并查集]
- StuQ 发布的大数据工程师技能图谱(仅供参考)Big Data & Data Mining