ELK Stack搭建和使用中的一些小记录

       ELK Stack是非常很强大的一套东西,同样也意味着比较复杂。去年在搭建这套东西时，
也被折腾的够累的.主要是些小坑，知道了的话其实没什么，非常简单，不知道话，还是有点急人的。
   数据采集用的Beats系列，这玩意是用Go写的,比直接用Logstash,性能要更好,分工也更明确.
      Packetbeat :  用来嗅探和分析网络流量，如HTTP、MySQL、Redis等
      Topbeat: 用来收集系统的监控信息，功能如其名，类似*nix下的top命令.

      Filebeat: 用来收集数据源是文件的数据，比如常见的系统日志、应用日志、网站日志等.

采集完了丢给Logstash,处理完毕后，上传到AWS的Elasticsearch服务(这里有个坑卡了我好久)完事.
       Logstash有很多的功能，比如N多的插件，比如丰富的Grok等等，我很多处理都要靠它，
但可能是我没用对，我发现其实它的一些插件在生产环境有些也不是那么靠谱的。
比如有个插件http_poller。

httppoller.conf:

input {  http_poller {    urls => {      test1 => "http://localhost:8090"      test2  => {        type => "aa"        tags => ["aaa","aaaa"]        method => get        url => "http://test2.xxx.com/pong"      }      test3 => {        method => get        url => "http://test3.xxx.com/pong"        headers => {          Accept => "application/json"        }        auth => {          user => "xcl"          password => "pwd"        }      }    }    request_timeout => 60    interval => 60    #codec => "json"    metadata_target => "http_poller_metadata"  }}filter {    if [http_poller_metadata] {      mutate {        add_field => {          "host" => "%{http_poller_metadata[name]}"        }      }    }}output {  stdout {    codec => rubydebug  }}

./bin/logstash -f  httppoller.conf
当HTTP服务不能访问时，会返回"_http_request_failure"

      我在本地怎么测试都ok的，部署后简单测试了下，也没发现问题，但不久就发现，当日志服务器很繁忙时，

这个插件其实达不到所要的效果，老是误报.最后只好自己开发了个服务来做这件事。所以用插件时，一定在生

产环境观察或测试一段时间,千万不要简单测试一下就不管了。

      另外，如果logstash的一些插件不以满足，又不想研究JRuby之类，可以考虑直接用exec，将数据传
到外面直接自己处理.
     exec{
              command => " ...... "
          }
      还有一点，在生产环境，如果修改了对应的conf文件，一定要注意先"configtest"一下，毕竟，conf
如果做了很多处理，很复杂的情况下，先确保修改后的conf格式是否正确还是很有必要的.
   ./bin/logstash -f xxx.conf --configtest
       最后还有一个要提醒的东西是调试，logstash的处理正不正确，除了看日志，可以在启动时加"-v v"
能实时看到很多东西，但最好在测试环境用。  
       有很多小坑和小心得，不一一写了，不过ELK Stack确实非常好用,也还有很多东西需要去挖掘，我基于它，

并整合其它服务，用Golang搭起了一套运维告警系统(包含邮件，微信实时通知及数据分析等)的骨架。

现在基本已离不开这套东西了。

BLOG：http://blog.csdn.net/xcl168