logstash基本语法及运行
来源:互联网 发布:阿里云域名解析没生效 编辑:程序博客网 时间:2024/06/10 11:13
logstash基础知识
logstash给事件加的额外字段
- host标记事件发生在哪里
- type标记事件唯一类型
- tags标记事件的某方面属性,数组
- @timestamp标记事件发生事件
过滤插件的通用方法: add_tag、 remove_tag、 add_field、 remove_field, 在插件过滤匹配成功时生效
语法
- 区域, {}定义区域,区域内可以包括插件区域定义
- 数据类型, bool、string、number、array、hash
- 字段引用:[]引用字段的值,[geoip][location][0], 也支持倒序[geoip][location][-1]
- 变量内插:
the longitude is %{[geoip][location][0]}"
条件判断
- equality: ==, !=,<, >, <=, >=
- regexp: =~, !~
- inclusion: in, not in
- boolean: and, or, nand, xor
- unary: !()
命令行参数
- -e 执行一段字符串脚本
- -f 或–config 指定配置, logstash -f /etc/logstash.d/会自动读取该目录下所有文件文本,拼接成完整的大配置,各小配置会以字母排序加载,因此最后以数字编号方式命令配置文件
- -t 测试配置文件是否能正常解析
- -l或–log ,logstash默认输出日志到标准错误。该选项可指定日志输出位置,如 bin/logstash -l logs/logstash.log
- –pipeline-workers或-w, 运行filter和output的pipline线程数量,默认是cpu核数
- –pipeline-batch-size或-b, 每个logstash pipline线程,在执行具体filter和output函数之前,最多能累积的日志条数,默认125条,越大性能越好,消耗jvm内存也越大
- –pipline-batch-delay或-u, 每个线程在打包批量日志的时候,最多等到几毫秒,默认5ms
- –pluginpath或-P, bin/logstash –pluginpath /path/to/own/plugins加载插件
- –verbose, 输出一定调试日志
- –debug输出更多调试日志
5.0以后版本,config/logstash.yml文件,可以设置启动命令如:
pipline: workers: 24 batch: size:125 delay:5
插件命令
- 查看插件: bin/logstash-plugin list 查看本机可用插件
- 安装插件: bin/logstash-plugin install logstash-output-webhdfs
- 升级插件: bin/logstash-plugin update logstash-input-tcp
长期运行
- nohup cmd & 后台运行
- screen
# 学习screen1. 创建: screen -dmS elkscreen_1 (可以自定义)2. 连接已创建的elkscreen_1: screen -r elkscreen_1, 然后看到一个一模一样的新终端,运行logstash,不ctrl+c,而按 ctrl+A+D,重新连接也是-r3. 查看创建的screen: screen -list
- supervisor,请看地址
http://blog.csdn.net/ricky110/article/details/77430387
阅读全文
0 0
- logstash基本语法及运行
- Logstash的数据类型和基本语法
- Centos7安装Logstash及基本配置
- 搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统(二) Logstash简介及常见配置语法
- javascript及基本语法
- logstash + grok 正则语法
- Logstash配置语法
- PowerShell基本语法及常用命令
- CSS基本语法及用法
- JAVA数据类型及基本语法
- PowerShell基本语法及常用命令
- freemarker基本语法及实例
- jquery 语法及基本使用
- Python基本语法及优缺点
- shell基本语法及应用
- jsp概述及基本语法
- JSP概述及基本语法
- Oracle基本语法及例子
- 第9章 菜单、工具栏和状态栏
- 2017年11月5日记《回忆与反思》
- 【电脑技巧】远程访问-注意设置关键步骤修改电源计划取消进入睡眠模式
- SpringRestful
- JeasyOPC 遇到过的坑
- logstash基本语法及运行
- 垃圾收集器与内存分配策略
- JDBC+Servlet+JSP实现简单的数据遍历和查找功能
- JAVA将M行N列的矩阵交换行和列
- python列表推导式的应用,基础面试题
- 剑指offer---二叉搜索树的第k个结点
- 关于近期模拟赛的总结
- SpringBoot基础操作有可能遇到的问题
- Unity3D meta文件解读