filebeat采集数据的几个痛点的解决方案
来源:互联网 发布:notepad++ for mac 编辑:程序博客网 时间:2024/05/20 16:11
1.行转列
filebeat采集多行日志的时候会把日志分开来采集,这样传递到logstash的时候就无法正确解析了,所以用把多行日志统一采集。
这时候可以使用:multiline配置选项。
multiline:适用于日志中每一条日志占据多行的情况,比如各种语言的报错信息调用栈。这个配置的下面包含如下配置:
pattern:多行日志开始的那一行匹配的pattern
negate:是否需要对pattern条件转置使用,不翻转设为true,反转设置为false
match:匹配pattern后,与前面(before)还是后面(after)的内容合并为一条日志
max_lines:合并的最多行数(包含匹配pattern的那一行)
timeout:到了timeout之后,即使没有匹配一个新的pattern(发生一个新的事件),也把已经匹配的日志事件发送出去
譬如采集tomcat日志的时候可以这么配
multiline: pattern: ‘^\[‘ negate: true match: after
这样就能采集每一次输入的多行日志了,不过对已经存在的日志会一窝蜂的采集。
2.带上自定义参数
基本上filebeat数据通过logstash解析后传到es的数据都会进行分类。采集的时候就必须带上采集数据所属的类别,以便于之后的分析。filebeat可以在采集的数据上增加fields自定义参数,便于解析。
- fields:向输出的每一条日志添加额外的信息,比如“level:debug”,方便后续对日志进行分组统计。默认情况下,会在输出信息的fields子目录下以指定的新增fields建立子目录,例如fields.level。
fields: level: debug
不过这样采集的数据还是无法进行分析,因为数据到达es后,es默认会将数据进行分词,录入的数据会被分词器分析称各个term,无法进行分类。必须使用动态模板映射logstash传输到es的数据。
3.多目录采集
很多时候会采集多目录下的日志数据,并且每个日志数据都会有自己的自定义参数,这时候可以定义多个input_type来解决这个问题,写法如下
filebeat.prospectors:- input_type: log paths: - /data1/server/tomcat/tomcat12004/logs/* fields: logIndex: tomcat docType: tomcat-log system: m.openapi multiline: pattern: ‘^\[‘ negate: true match: after- input_type: log paths: - /data1/server/tomcat/tomcat12001/logs/catalina.out fields: logIndex: tomcat docType: tomcat-log system: csb multiline: pattern: ‘^\[‘ negate: true match: after
- filebeat采集数据的几个痛点的解决方案
- 28.Filebeat的高级配置-Filebeat部分
- Filebeat的高级配置-Filebeat部分
- Filebeat的高级配置-Filebeat部分
- Filebeat的高级配置-Filebeat部分
- Filebeat的高级配置-Filebeat部分
- ForeSpider数据采集系统脚本的几个小方法
- 数据导入导出的几个关键点
- HttpWebRequest与HttpWebResponse进行数据采集时的注意点
- 一个数据采集系统的设计及重要点
- 数据采集的过程
- 并口的数据采集
- 数据采集的烦恼
- 采集gem5benchmark的数据
- 数据采集的收获
- 27.Filebeat的简单配置
- filebeat + elasticsearh的时区问题
- ELK中filebeat的使用
- Javascript创建对象的5种姿势
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink批处理API详解与编程实战017--DateSet实用API详解017
- 关于数据库三大范式理解
- linux下查看opencv版本
- JS 将 string 转换成为 number
- filebeat采集数据的几个痛点的解决方案
- Flomerics Floemc 6.1(lic carcak) 电磁兼容性的分析
- 树莓派安装console界面并简单配置
- 单点登录之CAS SSO从入门到精通(第一天)
- 25G become the best data center solutions
- 【Hisi音频】Hi3520D音频输出调试
- VisualVM 在线跟踪调试工具
- window 端口号被占用
- Js实现订阅发布模式(让你的代码写得贼六)