关于logstash导入es库的配置文件的一些理解
来源:互联网 发布:ps软件文字编辑 编辑:程序博客网 时间:2024/06/05 21:18
这个表格对于配置文件来说已经挺全的了,说一下自己的理解和实验得到的结果。logstash是默认每隔多少秒监听你要导入的文件是否增添了新的内容的。对于一个全新的待导入的文件,他会从头开始导入,并且创建一个 <文件inode,已写入的字节数>这样的一个记录,方便记录已经导入了多少数据到es库中,同时sincedb_path可以指定这个记录存放的位置。但是如果你把这个位置删了,再运行一遍logstash,好像没有什么影响,它照样 能按照之前的情况给你重新把记录拷贝了,所以我把索引、sindb_path指定的文件删除,再重新运行logstash,想重新导入原来删除的文件到es库里头,没有任何变化,可能logstash认为我们已经把这个文件导了多少字节进入es库了吧。所以这种情况,我觉得应该是把文件拷贝一份,导入拷贝后的文件入到es库里头,因为拷贝后的文件inode就变化了嘛。别的方法暂时还没想到,但是肯定有。
关于使用logstash将日志数据增量导入es库中,对于全新的日志文件,logstash是从开头开始导入的,但是对于已经写入一部分的日志文件,过了一段时间后日志文件又写入了一些数据,logstash能够自动监测到日志文件的变化并进行导入es库,它根据的机制应该就是<文件inode,已写入的字节数>这样的一个记录。自动进行监听,每当发现已写入的字数小于文件的大小了,就开始自动进行导入,从已写入的字节数之后的字节进行导入。
所以这部分的配置文件,我认为最终要的是 input部分 要有path(指明文件路径),codec=>json(解析日志的json格式),start_postion没有必要了(因为对于全新的文件他会自动从头开始导入,而对于已经导入的文件则会依据那个记录从上次导入之后的位置对新的东西导入),sindb_path也没有必要(除非是指定/dev/null这样的);output部分:指明elasticsearch 以及他的host和index就行了 ,stdout部分可以指明一下codec=>rubydebug作为验证导入的文件导入没
- 关于logstash导入es库的配置文件的一些理解
- 利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍
- 利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍
- 利用Logstash的logstash-input-jdbc插件实现mysql增量导入ES
- 查看logstash 导入数据到es中,数据导入的数量
- 用logstash导入ES且自定义mapping时踩的坑
- logstash将不规则的分隔符文本导入到es中
- 关于SVN的一些概念和配置文件理解
- 关于es的一些列文章
- 利用logstash-output-jdbc从mysql导入数据到es中,如何构建多级节点的JSON
- logstash多个配置文件启动的问题
- Magento全局配置文件的一些理解
- 关于ES的bulk操作的一些问题
- 关于库的一些介绍和理解
- 关于一些Opengl ES Shader编写的记录
- 关于JAXB的一些理解
- 关于bitmap的一些理解
- 关于Hook的一些理解
- android OOM 内存溢出
- centos6.5安装openoffice
- openg显示Bmp图片
- js复习笔记day2
- spring AOP
- 关于logstash导入es库的配置文件的一些理解
- Java 中的悲观锁和乐观锁的实现
- 如何提高数据质量?
- IO流复制文件并改名不同于刘意老师新解
- 【HDU 4552】怪盗基德的挑战书 【KMP next数组的巧妙应用】
- 【嵌入式安全扫盲一】Stack buffer overflow
- 深度学习:MATLAB 入门系列(二)
- 块存储、文件存储、对象存储这三者和分布式文件存储系统的本质区别
- linux常用命令讲解(ctrl+f快速检索)