ELK实战二:日志收集利器rsyslog

来源：互联网发布：问卷星录入数据编辑：程序博客网时间：2024/05/18 13:25

http://www.weblnn.com/c/146.html

ELK实战二:日志收集利器rsyslog

开源框架领男 2016-10-20 9浏览

目录(?)[+]

rsyslog 无论在性能还是部署上都优于其它日志收集应用，因系统自带，需要新功能只需要做升级即可，方便部署！

一、Rsyslog特性

Multi-threading, high availability
TCP, SSL, TLS, RELP
MySQL, Redis,Elasticsearch, Oracle and more
Filter any part of syslog message
Fully configurable output format
Encryption and compression transmission
Suitable for enterprise-class relay chains

更多rsyslog本身的一些功能介绍，请看@小米丁天密之前写的一个PPT。rsyslog的使用

二、日志收集规划

提前规划日志标准格式、目录，做到日志类型通用、覆盖度广、易处理。

比如：

logtime client_ip server_ip domain level http_code url response_time msg

27/Apr/2016:15:50:55 1.1.1.1 127.0.0.1 www.elain.org ERROR 499 /elk/rsyslog 0.007 xxxxx

日期也要严格使用统一格式，推荐ISO8601时间格式,日志经过这样规范处理后，无论是在单台上使用awk,cut,sed来查看日志，或是写一些简单实用的日志处理小工具都会比较通用。

当然，如果你非要说不会有单机上去查看日志的情况，那使用纯json格式也是相当不错的，针对ELK来说更是方便，可以直接使用logstash或hangout解析json，反而提高grok的性能。
比如：

{"logtime":"value","client_ip":"value","server_ip":"value","domain":"value","level":""value","http_code":"value","url":"value","response_time":""value","msg":"value"}

{"logtime":"27/Apr/2016:15:50:55","client_ip":"1.1.1.1","server_ip":"127.0.0.1","domain":"www.elain.org","level":""ERROR","http_code":"499","url":"/elk/rsyslog","response_time":""0.007","msg":"xxxxx"}

当然，你还可以把前面这些固定的字段从json中扔出来，只把msg做成json，但切记，为了方便通用，在日志中使用json格式时不要做多级嵌套，这样大大增加了日志处理的复杂度，且不同日志如果没有明确级数，就搞的不通用了，大大增加了运维复杂度。

使用rsyslog日志收集是尽量保证日志的原始性
不去做任何处理，直接收集入到队列，如kafka、redis，这样做的的好处时，减少日志客户端rsyslog的性能压力，从而不影响所在服务器上正常业务，并且保持原始日志也便于各自业务方处理，自己写的日志自己最熟悉。
日志收集客户端rsyslog 使用守护进程的工具做守护,如supervisor、monit等

三、使用rsyslog收集常见日志配置

单行日志，如nginx app 业务日志等，最常用

module(load="imfile") # if you want to tail files
module(load="omkafka") # lets you send to Kafka

$WorkDirectory /var/lib/rsyslog
$PreserveFQDN on

#nginx access log
input(type="imfile"
 File="/home/work/logs/nginx/*.log"
 Tag="ngx_log_mishop_order"
 PersistStateInterval="1000"
 reopenOnTruncate="on"
 addMetadata="on"
)

template( name="general_log" type="string" string="%hostname% %msg%")

#nginx access log
if ($syslogtag == "ngx_log_mishop_order") then {
 action(
 broker=["c3-b2c-b2cop-efk-kafka01.bj:9092","c3-b2c-b2cop-efk-kafka02.bj:9092","c3-b2c-b2cop-efk-kafka03.bj:9092","c3-b2c-b2cop-efk-kafka04.bj:9092"]
 type="omkafka"
 topic="ngx_log_mishop_order"
 template="general_log"
 confParam=["compression.codec=gzip"]
 partitions.auto="on"
 )
 stop
}

多行日志如php_slow_log

module(load="imfile") # if you want to tail files
module(load="omkafka") # lets you send to Kafka

$WorkDirectory /var/lib/rsyslog
$PreserveFQDN on

#php slow log
input(type="imfile"
 File="/home/work/logs/php/php-fpm.log.slow"
 Tag="php_log_slow"
 PersistStateInterval="1000"
 reopenOnTruncate="on"
 addMetadata="on"
 ReadMode="1" #这里是关键，1代表多行日志之间以空格区分
 escapeLF="on"
)

template( name="general_log" type="string" string="%hostname% %msg%")

#php slow log
if ($syslogtag == "php_log_slow") then {
 action(
 broker=["c3-b2c-b2cop-efk-kafka01.bj:9092","c3-b2c-b2cop-efk-kafka02.bj:9092","c3-b2c-b2cop-efk-kafka03.bj:9092","c3-b2c-b2cop-efk-kafka04.bj:9092"]
 type="omkafka"
 topic="php_log_slow"
 template="general_log"
 confParam=["compression.codec=gzip"]
 #errorFile="rsyslog_err.log"
 partitions.auto="on"
 )
 stop
}

ReadMode的具体用法见：
http://www.rsyslog.com/doc/v8-stable/configuration/modules/imfile.html?highlight=readmode

四、使用rsyslog收集日志遇到过的坑

获取主机名问题

如果需要获取主机名时，主机名中带有’.’,如主机名为：www-elain-org-web01.bj
解决方法：在主配置文件rsyslog.conf中添加配置：

$PreserveFQDN on

因rsyslog 默认工作目录是没有设置的，在生成statefile时会无法自动生成
解决方法：在主配置文件rsyslog.conf中添加配置：

$WorkDirectory /var/lib/rsyslog

使用logrotate日志切割问题
很多情况下，我们每台服务器是的日志还是落到本机磁盘上的，在这种情况下，我们通常会使用一些工具来定时切割日志，
比如使用logrotate，也是我使用中觉得最好用的工具了。我们在使用rsyslog收集时，发现logrotate按小时切割后，rsyslog就不会再发送日志了，通过rsyslog debug和日志文件的观察，发现日志切割后，inode没有改变,但日志文件改变了大小,导致rsyslog无法重新记录iCurrOffs
解决方法：在子imfile配置中添加配置：

reopenOnTruncate="on"

注：此功能要求rsyslog版本在 8.16.0以上
参考:https://github.com/rsyslog/rsyslog/issues/511

至此，日志收集就告一段落，接下来队列kafka!

转载请注明：web客栈 » ELK实战二:日志收集利器rsyslog

ELK实战二:日志收集利器rsyslog

0 0