flume将log4j日志数据写入到hdfs
来源:互联网 发布:淘宝卖家下架的宝贝在哪里 编辑:程序博客网 时间:2024/05/16 10:39
本次我们把log4j的日志直接采集输出到hdfs中去。需要修改flume.conf中sink的配置:
简单说明一下修改的部分,我们将sink的type由logger变为hdfs,然后指定输出path, 默认是输出到HDFS后为sequencefile,里面的内容无法直接打开浏览,为了便于直观看到我们输出的日志信息,所以我这里将fileType为DataStream, writeFormat=Text,这样就可以直接打开生成的文件进行查看了。
下面几个roll开头的参数都是用来控制滚动日志输出的,官方文档上的说明也很详细,我这里配置的只按文件大小来滚动rollSize=10240,也就是10K滚动生成一个新的文件用来接收新的EVENTS。实际中这个Size应该更大一些,我觉得设置成HDFS的blocksize大小应该挺合适的。
idleTimeout设置为60秒(默认值为0),这里面的原理是这样的,flume里面每生成一个接收文件时的命名规则如:FlumeData.1406251462179.tmp,.tmp表示这个文件正在被使用来接收EVENTS,当满10K之后,这个文件会被rename成FlumeData.1406251462179,把.tmp后缀去掉,但是如果你停止了应用程序后,FlumeData.1406251462179.tmp还没满10K,按照默认的idleTimeout设置,不会将它rename,也就是.tmp后缀一直在,造成了这个文件一直在使用当中的一个假象,这是有问题的,我们设置idleTimeout=60,即60秒后这个文件还没有被写入数据,就会关闭它然后rename它去掉.tmp,以后新进来的events,会新开一个.tmp文件来接收。
我们再运行第一篇文章中的那个示例应用程序,然后去path指定的目录下面就能看到log4j输出的日志信息了。
补充注意点(针对cm安装的flume):
首先在hdfs上创建/flume目录:hadoop fs -mkdir /flume
给该目录授权给flume用户和组:hadoop fs -chown -R flume:flume /flume
注意给目录授权很重要,不然会报错。
1 0
- flume将log4j日志数据写入到hdfs
- flume学习(三):flume将log4j日志数据写入到hdfs
- flume学习(五):flume将log4j日志数据写入到hdfs
- flume学习(五):flume将log4j日志数据写入到hdfs
- flume学习(二):flume将log4j日志数据写入到hdfs
- flume学习(三):flume将log4j日志数据写入到hdfs
- 使用Log4j将日志实时写入Flume
- flume的导日志数据到hdfs
- flume 抽取图片文件数据写入到HDFS
- flume 模拟将日志内容写入到 hive中
- Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS
- flume 收集日志到HDFS
- Flume实现日志文件夹数据加载到HDFS
- log4j+flume+HDFS实现日志存储
- log4j+flume+HDFS实现日志存储
- log4j+flume+HDFS实现日志存储
- 模拟使用Flume监听日志变化,并且把增量的日志文件写入到hdfs中
- log4j输出日志到flume
- 29行代码搞定批量自定义创建用户,并生成日志
- MTK Kernel启动流程源码解析 3 init_task
- 已解决:Android Studio Error:Connection timed out: connect
- 一篇SSM框架整合友好的文章(二)
- BLE 绑定流程
- flume将log4j日志数据写入到hdfs
- java之工厂模式
- RAID磁盘阵列详解
- 几种排序算法 持续更新
- android 5.0新特性之Material Design 使用Material主题
- 数组去重的五种方法
- Unit2.1 文档
- COGS 727. [网络流24题] 太空飞行计划
- com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packe