ELK 初探

ELK实时日志分析平台 初次尝试。

平台

CentOS 7
Oracle JDK 8
Kibana 4.5.2
Elaticsearch 2.3.4
logstash 2.3.4
filebeat 1.2.3
查看version command： filebeat --version

系统架构图

软件的安装

采用yum的安装模式。首先需要添加对应的repo文件。 对应的详细的安装方法可以参考在线文档， 这里以logstash为例。

logstash 安装

• Download and install the public signing key

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

• 添加Repo到目录/etc/yum.repos.d/， 比如：logstash.repo

[logstash-2.3]name=Logstash repository for 2.3.x packagesbaseurl=https://packages.elastic.co/logstash/2.3/centosgpgcheck=1gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearchenabled=1

• 安装

yum install logstash

• 随系统自动启动

sudo chkconfig --add filebeat

其他软件的repositories

filebeat

[beats]name=Elastic Beats Repositorybaseurl=https://packages.elastic.co/beats/yum/el/$basearchenabled=1gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearchgpgcheck=1

elasticsearch 官方介绍

[elasticsearch-2.x]name=Elasticsearch repository for 2.x packagesbaseurl=https://packages.elastic.co/elasticsearch/2.x/centosgpgcheck=1gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearchenabled=1

kibana 在线文档

[kibana-4.5]name=Kibana repository for 4.5.x packagesbaseurl=http://packages.elastic.co/kibana/4.5/centosgpgcheck=1gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearchenabled=1

查看服务状态

servie logstash status

查看服务文件路径

rpm -ql logstash

FileBeat 使用

filebeat 安装后的配置文件存放于：/etc/filebeat/下
修改配置文件filebeat.yml
1， 修改文件的路径：比如：/home/osboxes/app.log

filebeat:  prospectors:    -      paths:        - "/home/osboxes/app.log"

2， 修改输出， 默认是直接输出到Elasticsearch，我们修改输出到logstash
只需要打开对应的注释即可，将elasticsearch相关注释掉， 打开logstash的注释。

output:  logstash:    hosts: ["127.0.0.1:5044"]    # Optional load balance the events between the Logstash hosts    #loadbalance: true

filebeat.yml 已经配置了多个output选项，我们只需要打开注解。 这里可以做个小的测试。 修改配置后可运行命令验证：filebeat -configtest -e. filebeat只能配置一个output项，修改配置后需要重启
1，找到Console output，打开注解

##Console output   console:    # Pretty print json event    pretty: true

2， 停止filebeat服务 sudo service filebeat stop，手动启动filebeat来方便我们观察console输出sudo filebeat -e -c /etc/filebeat/filebeat.yml。(On windows: filebeat.exe -e -c filebeat.yml)
3， 新开窗口输出信息至文件/var/log/app.log

echo "2016-06-29 17:14:13.802  INFO 6244 --- [main] org.hibernate.Version                    : HHH000412: Hibernate Core {4.3.11.Final}" >> app.log

4，切换至filebeat的启动窗口可以看到如下的输出。

[osboxes@osboxes logstash]$ sudo filebeat -e -c /etc/filebeat/filebeat.yml{  "@timestamp": "2016-07-11T13:44:43.926Z",  "beat": {    "hostname": "osboxes",    "name": "osboxes"  },  "count": 1,  "fields": null,  "input_type": "log",  "message": "2016-06-29 17:14:13.802  INFO 6244 --- [main] org.hibernate.Version                    : HHH000412: Hibernate Core {4.3.11.Final}",  "offset": 130,  "source": "/home/osboxes/app.log",  "type": "log"}

LogStash 配置

上面的小测做完后，将filebeat的配置改回输出到logstash。

连通filebeat和logstash

1， 添加logstash.conf 文件在/etc/logstash/conf.d/logstash.conf

input {  beats {    port => 5044  }}output {  stdout{}}

修改后可以通过命令验证配置是否正确：

sudo /opt/logstash/bin/logstash -f /etc/logstash/conf.d/logstash.conf --configtest

2, 启动logstash
采用命令启动方便从console观察输出。sudo /opt/logstash/bin/logstash -f /etc/logstash/conf.d/logstash.conf如果采用service的启动方式，需要去/var/log/logstash/logstash.stdout 查看log
3，启动filebeat 然后向文件app.log 写入log

echo "2016-06-29 17:14:13.802  INFO 6244 --- [main] org.hibernate.Version                    : HHH000412: Hibernate Core {4.3.11.Final}" >> app.log

4，切换至logstash窗口， 可以观察到一下输出，证明filebeat已经可以成功输出到logstash

[osboxes@osboxes bin]$ sudo ./logstash -f /etc/logstash/conf.d/logstash.conf Settings: Default pipeline workers: 1Pipeline main started2016-07-12T05:57:46.877Z osboxes 2016-06-29 17:14:13.802  INFO 6244 --- [main] org.hibernate.Version                    : HHH000412: Hibernate Core {4.3.11.Final}

使用Grok Filter Plugin解析日志 （spring boot 的默认日志格式）

1， 修改logstash.conf 添加filter，重启logstash

input {  beats {    port => 5044  }}filter {  #If log line contains tab character followed by 'at' then we will tag that entry as stacktrace  if [message] =~ "\tat" {    grok {      match => ["message", "^(\tat)"]      add_tag => ["stacktrace"]    }  }  #Grokking Spring Boot's default log format  grok {    match => [ "message",               "(?<timestamp>%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{TIME})  %{LOGLEVEL:level} %{NUMBER:pid} --- \[(?<thread>[A-Za-z0-9-]+)\] (?<class>[A-Za-z0-9.#_]+)\s*:\s+(?<logmessage>.*)",               "message",               "(?<timestamp>%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{TIME})  %{LOGLEVEL:level} %{NUMBER:pid} --- .+? :\s+(?<logmessage>.*)"             ]  }  #Parsing out timestamps which are in timestamp field thanks to previous grok section  date {    match => [ "timestamp" , "yyyy-MM-dd HH:mm:ss.SSS" ]  }}output {  stdout{   codec => rubydebug  }

2，写入log到文件app.log

echo "2016-06-29 17:14:09.477  INFO 6244 --- [main] faultConfiguringBeanFactoryPostProcessor : No bean named 'errorChannel' has been explicitly defined. Therefore, a default PublishSubscribeChannel will be created." >> app.log

3， 切换logstash查看输出

{       "message" => "2016-06-29 17:14:09.477  INFO 6244 --- [main] faultConfiguringBeanFactoryPostProcessor : No bean named 'errorChannel' has been explicitly defined. Therefore, a default PublishSubscribeChannel will be created.",      "@version" => "1",    "@timestamp" => "2016-06-29T16:14:09.477Z",         "count" => 1,        "fields" => nil,        "source" => "/home/osboxes/app.log",        "offset" => 987,          "type" => "log",    "input_type" => "log",          "beat" => {        "hostname" => "osboxes",            "name" => "osboxes"    },          "host" => "osboxes",          "tags" => [        [0] "beats_input_codec_plain_applied"    ],     "timestamp" => "2016-06-29 17:14:09.477",         "level" => "INFO",           "pid" => "6244",        "thread" => "main",         "class" => "faultConfiguringBeanFactoryPostProcessor",    "logmessage" => "No bean named 'errorChannel' has been explicitly defined. Therefore, a default PublishSubscribeChannel will be created."}

至此，完成了初步的日志的解析，日志别解析至对应的fields中。 接下来将这些数据推送至Elasticsearch进行索引。

修改logstash配置，输出到elasticsearch

修改配置文件的output。

output {    elasticsearch {    }}

用这样的结构，Logstash使用http协议连接到Elasticsearch。上面的例子假设Logstash和Elasticsearch运行在同一个机器上。您可以使用主机配置hosts => "es-machine:9092指定远程Elasticsearch实例。

查看结果

一次启动elasticsearch，kibana，logstash，filebeat。 （filebeat已启动的话，无需重启）

安装Sense

进入/opt/kibana/ 运行：$sudo ./bin/kibana plugin --install elastic/sense
You should now be able to access Sense with a web browser on http://localhost:5601/app/sense

spring boot 日志配置

尽量采用统一的日志输出格式
1, JPA 的sql输出

#spring.jpa.show-sql = true #不推荐这种方式logging.level.org.hibernate.SQL=DEBUG

常见的部署方式

由于logstash比较消耗系统资源， 采用filebeat 来采集数据， 然后推送到logstash。 简单的case可以将logstash elasticsearch kibana 放在一个虚拟机。 filebeat可以分别安装在各个对应的微服务上。 注意：当这些部署在不同的机器上的时候，需要打开对应的端口。 对应的配置也需要相对修改下。
打开logstash的端口：

$ sudo firewall-cmd --zone=public --add-port=5044/tcp --permanent$ sudo firewall-cmd --reload

filebeat的配置修改

logstash:    # The Logstash hosts    hosts: ["192.168.1.186:5044"]

修改hostName
如果微服务部署在不同的虚拟机中， 可以通过修改hostname，然后在ES的index中通过hostname 来区分日志的来源

$ hostnamectl status# hostnamectl set-hostname Your-New-Host-Name-Here

关于日志采集的策略

（网上未提及此topic）
配置logstash是件麻烦事情。 一下两种策略互相冲突
1， 保证所有的log都index到ES
这中策略方便用户查找问题， 因为所有的log都可以搜索到
2， 严格过滤， 只提取我们需要的log信息
这种很方便做统计， 但是其他很多log会被过滤掉， 用来找问题不方便。

服务器时间设置

最好保证日志源的服务器时间和ELK的数据库服务器时间一直

# ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime