Flume TailDirSource问题
来源:互联网 发布:微信炸群软件免费 编辑:程序博客网 时间:2024/05/16 19:19
在使用Flume的tailDirSource时,发现每天凌晨log文件名切换时会丢失日志,查看源码发现,发现log文件名修改后不符合flume file group定义的正则表达式,导致改过名的日志文件不会再被flume读到;后来改了正则表达式,适应改名后的log文件,但发现改名后的log文件会被flume当成新文件,重新读一遍,再看源码,发现tailDirSource通过inode和filePath两个维度来判断是否为新文件,log改名后,filePath不一样,就被tailDirSource视为新的文件,重新读一遍,好了,看下源码怎么修改?
flume-taildir-source工程ReliableTaildirEventReader.java 247行
if (tf == null || !tf.getPath().equals(f.getAbsolutePath())) { ...}
把 !tf.getPath().equals(f.getAbsolutePath()) 这个比较filePath的代码去掉即可!
1 0
- Flume TailDirSource问题
- flume-TailDirSource分析
- Flume中的TaildirSource
- Flume中的TaildirSource
- flume中的TaildirSource(1)
- flume中的TaildirSource(2)
- TaildirSource(Flume中实现)
- flume的TaildirSource介绍及升级改造
- flume的TaildirSource生成的positionFile文件内容说明
- flume 1.7.0-taildirSource 支持 windows系统
- Flume使用-问题总结
- flume 崩溃问题
- 启动flume小问题
- Flume 丢失数据问题
- flume加载问题整理
- Flume开发问题记录
- flume+Hbase搭建问题详解
- Flume Spooldir 的一些问题
- HOJ 整数对
- Java 集合之ArrayList
- Sentiment Classification with User and Product information
- 找球号(三)
- 支付宝sdk 支付订单查询失败
- Flume TailDirSource问题
- IL2CPP(上)
- 对象判等(二)
- JAVA设计模式之单例模式
- CentOS 6.5升级Python和安装pip、IPython
- 解决Fragment多层嵌套时onActivityResult无法正确回调的问题
- Github 之 Pull Request
- acl
- 简:产品经理日常工作