es & kibana & filebeat 部署与使用

1 概述

考虑到logstash性能比较差，而且我们并不需要对日志进行解析，主要进行的是搜索日志关键字，因此我们选择跳过logstash，直接从filebeat将日志读取到es

---

2 es部署

为了保证高可用，es应该部署三台以上，下面以部署三台距离

下载es安装包，5.X的版本都是要求 linux kernel 大于7的，所以如果本地 kernel 是6系列的，最好还是下载之前的版本。es 5.X之前的最新版本就是2.4.6，es-2.4.6

解压，修改配置文件 /config/elasticsearch.yml 如下所示

#集群名称，ES通过集群名称识别自己属于哪一集群cluster.name: es-wj#本节点名称node.name: es-wj-node-1#广播发现集群discovery.zen.ping.unicast.hosts: ["10.202.x.184", "10.202.x.185","10.202.x.186"]#本节点绑定的IPnetwork.host: 10.202.x.184#数据存放位置，存储数据的时候会压缩，三个节点按照哈希分别存储不同的数据path.data: /app/elasticsearch/elasticsearch-2.4.6/data#日志存放位置path.logs: /app/elasticsearch/elasticsearch-2.4.6/logs

修改好配置文件之后，在bin目录中启动es

./bin/elasticsearch &

按照上述步骤分别启动三个es节点，然后访问浏览器 http://ip:9200 ，就可以看到有关于该集群的json信息

{  "name" : "es-wj-node-1",  "cluster_name" : "es-wj",  "version" : {    "number" : "2.4.6",    "build_hash" : "5376dca9f70f3abef96a77f4bb22720ace8240fd",    "build_timestamp" : "2017-07-18T12:17:44Z",    "build_snapshot" : false,    "lucene_version" : "5.5.4"  },  "tagline" : "You Know, for Search"}

---

3 kibana部署

kibana是官方提供的es可视化操作工具。访问端口是 http://ip:5601

kernel不高的情况下，同样建议下载5.X之前的版本，kibana-4.6.6

解压之后，修改config目录下面的kibana.yml文件，绑定es

#修改server.host主要是出于安全性考虑，使用0.0.0.0有风险server.host: "10.202.x.184"elasticsearch.url: "http://10.202.x.184:9200"

然后从bin目录启动kibana即可。kibana有个隐藏的好处，就是可以照猫画虎kibana搜索时的命令，加到自己的项目中，就可以实现很多功能

---

4 filebeat部署

通过filebeat将指定目录的日志传到es中。

filebeat下载地址 filebeat 1.3.1

filebeat:   prospectors:  -      paths:        - /app/test0/log/*.log        - /app/test1/log/*.log      input_type: log      #这里的配置相当于定义es的type      document_type: sgs -      paths:        - /app/test2/log/*.log      input_type: log       document_type: shivaoutput:  elasticsearch:     hosts: ["10.202.x.184:9200"]     #配置es的index，默认是配置的字符串加上日期，在调用接口时使用"push-*"替代所有     index: "push"  #我们这里将日志直接写入es而非logstash，所以这里要注释掉  #logstash:  #    hosts: ["X.X.X.X:5044"]

修改完配置文件之后，再启动filebeat

./filebeat &

说明
如有转载，请注明出处
http://blog.csdn.net/antony9118/article/details/78203892