rsyslog 入门 第一篇

本系列，使用学习场景，是基于elk的采集端。。就是只是采集文本后，rsyslog怎么处理的各种常用姿势。。。
有些抄了其他前辈的。自己整理了下。。。官方网站：www.rsyslog.com

centos 六 七
架构就是   rsyslog  --tcp方式-->  logstash -->es      ，或者，  rsyslog   ---> redis,kafka  -->logstash -->  es
------------------------------------------------------------------------------------------------------------------------------------------
1、用yum 安装最新版
  vi /etc/yum.repos.d/rsyslog.repo
[rsyslog_v8]
name=Adiscon CentOS-$releasever - local packages for $basearch
baseurl=http://rpms.adiscon.com/v8-stable/epel-$releasever/$basearch
enabled=1
gpgcheck=0
gpgkey=http://rpms.adiscon.com/RPM-GPG-KEY-Adiscon
protect=1

yum install -y --enablerepo=[rsyslog_v8] rsyslog

系统默认，6版本系统安装的是5.8版的rsyslog，7版本的系统安装的是7版本的rsyslog。
而8版的语法，可靠性，性能，功能，都在提升，新版本比老版本牛逼。防止踩不必要的坑，请使用8版本。


2、采集端原理
在磁盘上，每个文件都有自己的inode，每个文件占用多少个block 这些信息。当采集工具在读取文件时，就会产生一个状态文件。
记录着读取到哪个位置offset 了。只要文件一发生追加内容，就会增量读取。

如果是对文件进行修改，不是追加内容。则这个文件就发生改变。就会从头读起。而不是增量读取。。。应该是inode改变了。
----------
# rpm -qa|grep rsyslog
rsyslog-8.29.0-1.el6.x86_64

# cat /etc/rsyslog.conf |grep -Ev '^$|^#'
module(load="imuxsock") # provides support for local system logging (e.g. via logger command)
module(load="imklog")   # provides kernel logging support (previously done by rklogd)
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig /etc/rsyslog.d/*.conf
*.info;mail.none;authpriv.none;cron.none                /var/log/messages
authpriv.*                                              /var/log/secure
mail.*                                                  /var/log/maillog
cron.*                                                  /var/log/cron
*.emerg                                                 :omusrmsg:*
uucp,news.crit                                          /var/log/spooler
local7.*                                                /var/log/boot.log
$WorkDirectory /var/lib/rsyslog # where to place spool files        ##   默认是#注释，去掉#。就是记录状态文件存放到指定目录。默认是放在根分区 。
   当rsyslog 读取过文件，状态文件是产生在内存中，rsyslog 服务停止，就会把内存的状态文件写入磁盘。。


3、模块
# rpm -ql rsyslog |grep .so
/lib64/rsyslog/imfile.so
/lib64/rsyslog/imklog.so
/lib64/rsyslog/immark.so
/lib64/rsyslog/impstats.so
/lib64/rsyslog/imptcp.so
/lib64/rsyslog/imtcp.so
/lib64/rsyslog/imudp.so
/lib64/rsyslog/imuxsock.so
/lib64/rsyslog/lmcry_gcry.so
/lib64/rsyslog/lmnet.so
/lib64/rsyslog/lmnetstrms.so
/lib64/rsyslog/lmnsd_ptcp.so
/lib64/rsyslog/lmregexp.so
/lib64/rsyslog/lmstrmsrv.so
/lib64/rsyslog/lmtcpclt.so
/lib64/rsyslog/lmtcpsrv.so
/lib64/rsyslog/lmzlibw.so
/lib64/rsyslog/mmexternal.so
/lib64/rsyslog/mmpstrucdata.so
/lib64/rsyslog/mmsequence.so
/lib64/rsyslog/ommail.so
/lib64/rsyslog/omprog.so
/lib64/rsyslog/omtesting.so
/lib64/rsyslog/omuxsock.so
/lib64/rsyslog/pmlastmsg.so

这些是rsyslog 模块。需要另加其他模块，通过yum list |grep rsyslog 查看安装。


rsyslog的消息流是从输入模块->预处理模块->主队列->过滤模块->执行队列->输出模块。

  预处理模块主要解决各种syslog协议实现间的差异，举例说明如果日志系统client端使用rsyslog、server端使用syslog-ng，如果自己不做特殊处理syslog-ng是无法识别的。但是反过来，rsyslog的server端就可以识别syslog-ng发过来的消息。

Input模块包括imklg、imsock、imfile、imtcp等，是消息来源。

Filetr模块处理消息的分析和过滤，rsyslog可以根据消息的任何部分进行过滤，后面会介绍到具体的做法。

Output模块包括omfile、omprog、omtcp、ommysql等。是消息的目的地。

Queue模块负责消息的存储，从Input传入的未经过滤的消息放在主队列中，过滤后的消息放入到不同action queue中，再由action queue送到各个输出模块。