理解flume hdfs sink round 和roll
来源:互联网 发布:网络培训怎么培训 编辑:程序博客网 时间:2024/06/04 23:26
我们在配置flume hdfs sink 的时候注意这两个配置项,比如:
collector1.sinks.sink_hdfs.hdfs.rollSize = 2048000000 collector1.sinks.sink_hdfs.hdfs.rollCount = 0 collector1.sinks.sink_hdfs.hdfs.rollInterval = 21600collector1.sinks.sink_hdfs.hdfs.round = true collector1.sinks.sink_hdfs.hdfs.roundValue = 6collector1.sinks.sink_hdfs.hdfs.roundUnit = hour
rollsize的配置表示到2G大小的时候回滚到下一个文件,也就是到了这个时间 hdfs就会rename正在写的文件到已经写完。日志是这样的:
Renaminghdfs://192.168.2.231:8020/staging/xxx/app.news.test/dt=2015-10-20/events.20151020152500.1445326173233.log.tmp tohdfs://192.168.2.231:8020/staging/xxx/app.news.test/dt=2015-10-20/events.20151020152500.1445326173233.log
rollInterval的配置表示每个6小时回滚到下一个文件,但是round的理解是,每6小时产生一个新文件,比如把24小时分成4份,假设现在的时间是15:40,如果这时候有新的日志到来,那么hdfs 会创建一个新的hdfs文件,文件名称是2015102012,就是15:40 是分布在12-18这个区间的,flume 日志:
Creating hdfs://nameservice1/staging/xxx/app.news.test/dt=2015-10-20/events.20151020120000.1445326460544.log.tmp。
1 0
- 理解flume hdfs sink round 和roll
- 理解flume hdfs sink round 和roll
- 理解flume hdfs sinkround 和roll
- flume sink hdfs异常
- Flume中的HDFS Sink配置
- Flume<HDFS Sink参数配置>
- Flume HDFS sink 配置手册
- Flume中的HDFS Sink配置
- Flume NG之Agent部署和sink配置HDFS
- Flume NG flume-hdfs-sink 源代码分析
- Flume HDFS Sink使用及源码分析
- Flume HDFS Sink使用及源码分析
- flume hdfs sink gzip 压缩的问题
- Flume中的HDFS Sink配置参数说明
- Flume-ng HDFS sink原理解析
- Flume-ng HDFS Sink “丢数据”
- Flume中的HDFS Sink配置参数说明
- Flume中的HDFS Sink配置参数说明
- EventBus源码阅读(10)-SubscriberMethodFinder
- HDU1754-I Hate It
- 在Gmap中“”变相“”实现按行政区划边界下载地图
- BOM
- jvm入门(4)
- 理解flume hdfs sink round 和roll
- 使用jackson转换json攻略
- FreeCMS视频教程-安装oracle软件
- Java中sleep和wait的区别
- 简单类的编写----java
- 杭电OJ1280-前m大的数
- 在线安装 IntelliJ IDEA的 golang 插件
- 大数据_Storm_cluster模式下storm kill topology时做cleanup的解决方法
- android.util.SuperNotCalledException: Activity did not call through to super.onDestroy()异常的解决