Logstash的使用

来源:互联网 发布:淘宝宝贝详情视频制作 编辑:程序博客网 时间:2024/05/13 04:27

现在有一个“用户画像”的项目;前期需要搭建一个ElasticSearch的集群用来存储用户的行为数据;在搭建好ES的集群后,导入数据到ES是一个问题,采用的是Logstash进行数据导入;现将Logstash使用过程中碰到的问题记录如下:

1. 刚刚接触Logstash,对各个参数都不熟悉,需要多次试验。但是最后发现,指定一个文件后,Logstash只读取一次,如果需要读取多次需要添加参数sincedb_path => "/dev/null" 。

2. 导入到 elastic search 中的数据的index和type是可以指定的,如果不指定,ES会根据时间生成一个index名。指定方法为添加两个参数 index => "xxx" 、document_type => "xxx"。

Logstash的详细配置方法参见:https://kibana.logstash.es/content/logstash/plugins/output/elasticsearch.html