使用ELK对openstack日志进行收集分析

开源实时日志收集平台ELK由ElasticSearch、Logstash、Kibana三个开源工具组成：
ElasticSearch：是一个开源的分布式搜索引擎，其特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，Rest风格接口，多数据源，自动搜索负载等。
Logstash：是一个开源的日志收集和分析工具，能够将日志进行分析后，提供给ElasticSearch进行使用。
Kibana：可以为ElasticSearch和Logstash提供一个进行日志分析的友好Web界面，帮助汇总、分析、搜索重要日志。

1.环境
系统：centos 7.2
JDK：1.8（由于Logstash的运行依赖于Java环境，而Logstash1.5以上版本不低于java 1.7，因此推荐使用最新版本的Java）
Elasticsearch-5.6.3
Logstash-5.6.3
kibana-5.6.3

2.下载
因为我的系统本身Java版本就是1.8所以就没有配，需要配的可以去官网http://www.oracle.com/technetwork/java/javase/downloads/index.html下载，使用vim /etc/profile命令配置环境变量，对profile文件进行编辑。然后在文件末尾，添加以下内容

然后重启机器或执行命令: source /etc/profile
最后使用命令 Java -version查看结果
ELK下载地址：https://www.elastic.co/downloads

分别解压放到ELK文件夹中

3. elasticsearch
3.1 启动
ElasticSearch服务在linux系统中，不能直接使用root用户进行启动，需要创建一个非root用户，并且把ElasticSearch相关文件的所有者都修改为这个非root，然后使用该用户进行ElasticSearch的启动。
用户可以通过以下命令进行用户组、用户创建，和修改文件的所有者。
groupadd elsearch 
useradd elsearch -g elsearch -p elasticsearch 
chown -R elsearch elasticSearch.log
修改配置后通过./elasticsearch运行

3.2 修改配置文件
打开elastcisearch.yml文件修改配置

为了能够通过浏览器访问elasticsearch，我们需要配置elasticsearch的配置文件，主要是修改network.host和http.port
#修改配置文件内容如下：
network.host: 192.168.1.107（你自己的localhost）
http.port: 9200

（最后一个添加的属性我忘记是因为什么错误了。。。不过添加进去是没错的，前两个属性是为了head插件可以访问es）
可以通过访问http://IP:9200，来验证ElasticSearch是否启动成功。在浏览器中进行访问时，会在页面里返回以下信息

在运行时出现的问题：
引用自http://blog.csdn.net/sinat_37073641/article/details/54089733
(1)error: bootstrap checks failed
max file descriptors [4096] for elasticsearch process likely too low, increase to at least   [65536]
原因：无法创建本地文件问题,用户最大可创建文件数太小
解决方案：
切换到root用户，编辑limits.conf配置文件， 添加类似如下内容：
vi /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
备注：* 代表Linux所有用户名称（比如 hadoop）
保存、退出、重新登录才可生效
(2)max number of threads [1024] for user [es] likely too low, increase to at least [2048]
原因：无法创建本地线程问题,用户最大可创建线程数太小
解决方案：切换到root用户，进入limits.d目录下，修改90-nproc.conf 配置文件。
vi /etc/security/limits.d/20-nproc.conf
找到如下内容：
* soft nproc 1024
#修改为
* soft nproc 2048
(3)max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
原因：最大虚拟内存太小
解决方案：切换到root用户下，修改配置文件sysctl.conf
vi /etc/sysctl.conf
添加下面配置：
fs.file-max=65536
vm.max_map_count=262144
并执行命令：
sysctl -p
然后重新启动elasticsearch，即可启动成功。
成功运行页面：

3.3 安装head插件
我们需要从github上面下载代码，因此先要安装git
yum -y install git
安装完成后，就可以直接下载代码了：
git clone git://github.com/mobz/elasticsearch-head.git
下载后，修改下777权限（简单粗暴）
第二步，安装node
由于head插件本质上还是一个nodejs的工程，因此需要安装node，使用npm来安装依赖的包。（npm可以理解为maven）
去官网下载nodejs，https://nodejs.org/en/download/
下载下来的jar包是xz格式的，一般的linux可能不识别，还需要安装xz.
yum -y install xz
然后解压nodejs的安装包:
xz -d node*.tar.xz
tar -xvf node*.tar
解压完node的安装文件后，需要配置下环境变量,编辑/etc/profile，添加

别忘记立即执行以下
source /etc/profile
这个时候可以测试一下node是否生效：

第三步，安装grunt
grunt是一个很方便的构建工具，可以进行打包压缩、测试、执行等等的工作，5.0里的head插件就是通过grunt启动的。因此需要安装一下grunt：
linux：npm install grunt-cli
windows：npm install grunt-cli -g
安装完成后检查一下：

第四步，修改head源码
由于head的代码还是2.6版本的，直接执行有很多限制，比如无法跨机器访问。因此需要用户修改两个地方：
修改服务器监听地址
目录：/root/ELK/elasticsearch-head/Gruntfile.js 
connect: {
    server: {
        options: {
            port: 9100,
            hostname: '(你自己的localhost）',
            base: '.',
            keepalive: true
        }
    }
}
增加hostname属性
修改连接地址：
目录：/root/ELK/elasticsearch-head/_site/app.js
修改head的连接地址:
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";
把localhost修改成你es的服务器地址，如:
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://10.10.10.10:9200";
第五步，运行head
首先开启5.6 ES。
然后在head目录中，执行npm install 下载以来的包：
npm install 
最后，启动nodejs
grunt server

4. logstash
安装logstash只需要把压缩包解压到相应文件夹里即可，在Logstash的目录下执行./bin/logstash -e 'input { stdin { } } output { stdout {} }'命令，启动Logstash。
回车，然后你会发现终端在等待你的输入。敲入 hello world，回车，然后看看会返回什么结果
{
    "@timestamp" => 2016-12-25T10:13:03.901Z,
      "@version" => "1",
          "host" => "linux1.xxxx.com",
       "message" => "hello world"
}
logstash的配置文件须包含三个内容：
input{}：此模块是负责收集日志，可以从文件读取、从redis读取或者开启端口让产生日志的业务系统直接写入到logstash
filter{}：此模块是负责过滤收集到的日志，并根据过滤后对日志定义显示字段
在filter里面，配置了一个grok插件（一定要仔细写正则！！自己给自己留过好多坑。。。可以通过在线通过http://grokdebug.herokuapp.com/来对自己写的正则表达式进行验证，不过要翻墙），这个插件的作用是通过正则表达式，对收取到的日志数据进行解析。
https://github.com/elastic/logstash/blob/v1.1.9/patterns/grok-patterns这个网址是logstash的grok正则标准的一些总结可以参考
output{}：此模块是负责将过滤后的日志输出到elasticsearch或者文件、redis等
因为我们要对openstack各个组件的日志都要收集分析，所以参考了https://github.com/fishcried/hawkeye-logstash 项目

5.kibana
首先修改kibana的配置文件，
[root@ELk config]# vim kibana.yml 
找到
#server.host: "localhost"
#elasticsearch.url: "http://localhost:9200"
修改为你当前的IP地址，例：
server.host: "192.168.1.107"
elasticsearch.url: "http://192.168.1.107:9200"
然后在Kibana目录下，执行./bin/kibana命令，启动服务。
完成启动之后可以在浏览器中进行页面访问，地址为http://192.168.2.72:5601/。

首次登陆的时候，需要先配置索引，默认使用的索引是logstash-*，并且是基于时间的。建议把基于时间的选项取消，然后点击创建。
完成索引配置后，切换到Discover页面就可以开始进行日志数据的检索。
截止到此ELK搭建完成，接下来就是可以在Visualize里加点效果图玩玩啦~

参考链接： 
http://blog.csdn.net/jackghq/article/details/55804575?locationNum=9&fps=1
http://blog.csdn.net/mtsbv110/article/details/52628154
http://blog.csdn.net/sinat_37073641/article/details/54089733
http://www.linuxeye.com/Linux/2902.html
http://www.cnblogs.com/lixuwu/p/6116513.html
http://blog.csdn.net/bc_vnetwork/article/details/53927200
https://www.cnblogs.com/valor-xh/p/6293485.html?utm_source=itdadao&utm_medium=referral
https://github.com/fishcried/hawkeye-logstash