Centos7安装Logstash及基本配置

安装可以直接用yum安装

配置在/etc/logstash/conf.d

写任何配置文件,任何名都行，比如

vi log_file.conf

然后可以service logstash start了

先说Input:

读取文件基本格式如下:

input
{
    file {
        path => ["/var/log/*.log", "/var/log/message"]
        type => "system"
        start_position => "beginning"
    }

}

这里实用字段如下:

discover_interval:每隔多久去检查一次被监听的 path 下是否有新文件。默认值是 15 秒。

exclude:不想被监听的文件可以排除出去，这里跟 path 一样支持 glob 展开。

sincedb_path:如果你不想用默认的 $HOME/.sincedb(Windows 平台上在 C:\Windows\System32\config\systemprofile\.sincedb)，可以通过这个配置定义 sincedb 文件到其他位置。

sincedb_write_interval:logstash 每隔多久写一次 sincedb 文件，默认是 15 秒。

stat_interval:logstash 每隔多久检查一次被监听文件状态（是否有更新），默认是 1 秒。

start_position:logstash 从什么位置开始读取文件数据，默认是结束位置，也就是说 logstash 进程会以类似 tail -F 的形式运行。如果你是要导入原有数据，把这个设定改成 "beginning"，logstash 进程就从头开始读取，有点类似 cat，但是读到最后一行不会终止，而是继续变成 tail -F。
数据处理案例:

filter {
    grok {
        match => {
            "message" => "\s+(?<request_time>\d+(?:\.\d+)?)\s+"
        }
    }
}

如果用json:
filter {
    json {
        source => "message"
    }

   grok {
        overwrite => ["@timestamp"]
    }
}

Output配置(输出到elasticsearch):

output {
  # For detail config for elasticsearch as output,
  # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html
  elasticsearch {
    action => "index"          #The operation on ES
    hosts  => "192.168.6.11:9200"   #ElasticSearch host, can be array.
    index  => "log"         #The index to write data to.
  }
}

如果想以某个字段为唯一索引，后面有相同数据就更新：

output {
    elasticsearch {
        hosts => ["192.168.6.11:9200"]
        index => "log"
        workers => 1
        flush_size => 1
        idle_flush_time => 1
        document_id => "%{od_id}"
        doc_as_upsert => true
        action => "update"
    }
}

具体配置：

http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html