一组Logstash与elasticsearch的压测数据[转]
来源:互联网 发布:潜龙谍影1java 编辑:程序博客网 时间:2024/06/15 14:11
概述
组内的日志系统基于ELK搭建,本文中的数据在生产环境中进行测试得到,仅供参考。
系统构成
系统可以简要的分为:
- 日志接收机
- 日志数据队列
- 日志数据处理机
- ES集群
在日志接收机
上通过一个 日志数据队列
中,之后在ES集群
前,再使用一个日志处理机
ES集群
中。
使用 ES集群
的处理能力时,缓存数据。
运行环境
日志接收机
为CPU为4 * Xeon E5强IO型机器,Redis List 日志数据处理机
,CPU为12 * Xeon E5。
处理日志为Nginx access日志,记录了如时间、域名、访问IP、URL、HTTP Method、响应时间、返回体长度等,约10+字段。
参数配置
日志接收机上的
日志数据处理机上的 input 对已配置为:
而 output 配置为:
测试方法
测试分为测试 ES集群
写入能力。
Logstash 日志接收机
上的
ES集群
的写入能力通过每秒取样 日志数据处理机
上的
在测试一个阶段时,会关闭另一端的
数据
平均数据后,可供参考的数据为:
Logstash
ES集群
写入速度为:9345.79
- 一组Logstash与elasticsearch的压测数据[转]
- 一组Logstash与elasticsearch的压测数据[转]
- logstash采集与清洗数据到elasticsearch案例实战
- Logstash 导入数据到Elasticsearch
- logstash-out-mongodb实现elasticsearch到Mongodb的数据同步
- logstash将采取kafka的数据到elasticSearch配置
- Logstash的logstash-input-jdbc插件mysql数据同步ElasticSearch及词库
- Kafka与Logstash的数据采集
- 大数据日志分析logstash\elasticsearch\kibana
- Logstash之kafka数据入ElasticSearch
- 大数据日志分析logstash\elasticsearch\kibana
- 第三节 ElasticSearch数据导入之Logstash
- logstash 安装导入mysql数据至ElasticSearch
- 关于一组数据的排列与组合
- Elasticsearch、Logstash和Kibana简介与部署
- 各大数据库的配置 & logstash-out-mongodb实现elasticsearch到Mongodb的数据同步
- logstash在向elasticsearch输出数据时的动态映射模板问题
- logstash elasticsearch output插件的bulk提交
- “刺死辱母者”案:法院未认定正当防卫值得商榷
- Oracle GoldenGate Java Adapter 开发介绍
- Tcar:智能车之基于rtl8188eu驱动的wifi模块
- 大数据基础:Hadoop2.x生态系统(一)
- python实现strand_sort排序算法
- 一组Logstash与elasticsearch的压测数据[转]
- MVC项目实例--GuestBook
- BigDecimal类详解
- 又一例 select for update 的悲观锁使用所引发的血案
- c/c++生成随机数
- 0326
- Netty学习(三)-Netty重要接口讲解
- 使用带有缓冲的字节流读写数据
- Mybatis 报错 No constructor found in xx类