导入Logstash日志到Elasticsearch
来源:互联网 发布:为什么胡歌没女友 知乎 编辑:程序博客网 时间:2024/06/05 05:23
一、logstash是什么?
Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。
当然它可以单独出现,作为日志收集软件,你可以收集日志到多种存储系统或临时中转系统,如MySQL,redis,kakfa,HDFS, lucene,solr等并不一定是ElasticSearch。
Logstash就像一个数据管道一样,搜集来自不同源的日志,输出到不同的系统:
二、logstash安装与启动
下载logstash-2.4.0:
https://download.elastic.co/logstash/logstash/logstash-2.4.0.tar.gz
解压缩:
$ tar -zxvf logstash-2.4.0.tar.gz
启动logstash:
$ cd logstash-2.4.0$ ./bin/logstash -e 'input { stdin { } } output { stdout {} }'Settings: Default pipeline workers: 4Pipeline main started
这样会以默认形式输出日志,是最简单的日志格式,输入一个单词测试:
hello world2016-11-21T20:51:22.252Z yaopan.local hello world
设置为格式化输出:
$ ./bin/logstash -e 'input { stdin { } } output { stdout {codec => rubydebug} }'Settings: Default pipeline workers: 4Pipeline main startedhello{ "message" => "hello", "@version" => "1","@timestamp" => "2016-11-21T20:52:11.973Z", "host" => "yaopan.local"}
三、导入日志到Elasticsearch
首先,启动elasticsearch(2.3.3版本)。
在logstash-2.4.0根目录下文件新建文件夹conf:
mkdir conf
新建配置文件:
cd confvim logstash.conf
logstash.conf内容如下:
input{ stdin{}}output{ elasticsearch{ hosts => "127.0.0.1" } stdout{codec => rubydebug}}
导入成功后会在ES中自动创建索引。
1 0
- 导入Logstash日志到Elasticsearch
- Logstash 导入数据到Elasticsearch
- logstash增量将证书库导入到elasticsearch库中
- logstash实现日志文件同步到elasticsearch深入详解
- log4j2通过tcp发送json日志到logstash Elasticsearch
- Filebeat+Logstash+Elasticsearch抓取日志
- logstash输出日志到elasticsearch,index和type如何动态赋值?
- 第三节 ElasticSearch数据导入之Logstash
- logstash 安装导入mysql数据至ElasticSearch
- Elasticsearch+Logstash+Kibana3 日志查询系统
- Kibana+Logstash+Elasticsearch 日志查询系统
- logstash+elasticsearch+kibana日志处理平台
- 日志收集分析工具logstash + elasticsearch
- 日志查询利器 Logstash和ElasticSearch
- elk 日志分析系统Logstash+ElasticSearch+Kibana4
- elk 日志分析系统Logstash+ElasticSearch+Kibana4
- Elasticsearch+Kibana+Logstash 搭建日志平台
- elk 日志分析系统Logstash+ElasticSearch+Kibana4
- 第十二章 类和动态内存分配
- Leetcode 30. Substring with Concatenation of All Words (Hard) (cpp)
- 如何设置Vimrc
- 刚接触android开发时碰到的一些问题
- linux之信号处理函数signal和sigaction
- 导入Logstash日志到Elasticsearch
- Error:(16, 0) Gradle DSL method not found: 'Android()'
- Android创建底部菜单栏
- Android开发第1天
- Leetcode 113. Path Sum II (Medium) (cpp)
- 09-CoreData iOS10.0变化
- Range Sum Query - Immutable
- 10-NSPersistentContainer介绍
- 11-使用NSPersistentContainer搭建CoreData Stack