filebeat合并java日志多行信息
来源:互联网 发布:网络分层的理解 编辑:程序博客网 时间:2024/06/05 19:26
编辑配置文件
[root@web-bj-docker-10 filebeat]# vim filebeat.yml
#添加以下内容
#=========================== Filebeat prospectors =============================
filebeat.prospectors:
# Each - is a prospector. Most options can be set at the prospector level, so
# you can use different prospectors for various configurations.
# Below are the prospector specific configurations.
- input_type: log #默认
paths: #路径
- /mapbar/data/logs/gsmobd.log #收集的日志
document_type: tomcat_gsmobd #日志类型,类似标签,logstash可以按照标签创建不同索引
#正则匹配以什么为开头
multiline.pattern: '^\d{4}\-\d{2}\-\d{2}\s\d+\:\d+\:\d+\.\d+\s\[.*\]\sINFO|^\d{4}\-\d{2}\-\d{2}\s\d+\:\d+\:\d+\.\d+\s\[.*\]\sERROR|^\d{4}\-\d{2}\-\d{2}\s\d+\:\d+\:\d+\.\d+\s\[.*\]\sDEBUG|^\d{4}\-\d{2}\-\d{2}\s\d+\:\d+\:\d+\.\d+\s\[.*\]\sWARN'
multiline.negate: true #必要参数
multiline.match: after #必要参数
exclude_lines: ['^\d{4}\-\d{2}\-\d{2}\s\d+\:\d+\:\d+\.\d+\s\[.*\]\sINFO','^\d{4}\-\d{2}\-\d{2}\s\d+\:\d+\:\d+\.\d+\s\[.*\]\sDEBUG'] #上面匹配完行,此行为如果匹配丢弃
include_lines: ['^\d{4}\-\d{2}\-\d{2}\s\d+\:\d+\:\d+\.\d+\s\[.*\]\sERROR', '^\d{4}\-\d{2}\-\d{2}\s\d+\:\d+\:\d+\.\d+\s\[.*\]\sWARN'] #此行为如果匹配通过
#输出给logstash,也可直接输出给es
#----------------------------- Logstash output --------------------------------
output.logstash:
# The Logstash hosts
hosts: ["127.0.0.1:5045"]
logstash配置
[root@web-bj-docker-10 config]# cat logstash.filebeat.conf
只是接收稍作改动,filebeat配置的输入给logstash5045端口,logstash需要开启bests模块,端口为5045
input {
beats {
port => 5045
}
# file {
# path => ["/mapbar/data/logs/gsmobd.log"]
#}
}
output{
stdout { codec => rubydebug }
}
2 0
- filebeat合并java日志多行信息
- filebeat 收集java日志 multiline
- filebeat - logstash 多行合并 解决数据丢失以及无法读取最后一行
- elasticsearch+filebeat日志分析
- filebeat收集日志
- 使用 Filebeat 收集日志
- Filebeat+Logstash+Elasticsearch抓取日志
- filebeat--logstash同步日志文件
- 日志收集器Filebeat详解
- ELK+fileBeat 日志系统搭建
- elk+filebeat分布式日志收集
- 1.Filebeat 日志源采集
- 日志监控filebeat中文指南
- 日志收集器Filebeat详解
- logstash与filebeat收集日志
- ELK + Filebeat 搭建日志系统
- ELK + Filebeat 搭建日志系统
- elk日志分析filebeat配置(filebeat + logstash)
- java中JVM的原理
- bzoj4321: queue2
- 我的编程经历与我所热爱的游戏服务端开发
- 掌控Toast,彻底摆脱系统Toast尴尬
- T20调试札记
- filebeat合并java日志多行信息
- 仿网易云音乐进度框
- eclipse中读取json配置文件,相对路径不能以斜杠打头。
- weblogic和tomcat的区别(来源于百度知道)
- Java学习之final关键字
- MyBatis--动态SQL---foreach标签--List
- 文本分析--NLTK访问文件
- Mybatis的mapper.xml文件中不能使用小于等特殊字符时该怎么办?
- 谷歌地图下载器中“地图艺术照”