java.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null

来源:互联网 发布:淘宝几十块的近视眼镜 编辑:程序博客网 时间:2024/05/16 17:32

from http://blog.csdn.net/fansy1990/article/details/21160301

http://www.bkjia.com/xtzh/742208.html

使用flume的时候出现的问题。

sink是hdfs,然后使用目录自动生成功能。出现如题的错误,看官网文档说的是需要在每个文件记录行的开头需要有时间戳,但是时间戳的格式可能比较难调节,所以亦可设置hdfs.useLocalTimeStamp这个参数,比如以每个小时作为一个文件夹,那么配置应该是这样:

[plain] view plaincopy在CODE上查看代码片派生到我的代码片
  1. a1.sinks.k1.hdfs.path = hdfs://ubuntu:9000/flume/events/%y-%m-%d/%H  
  2. a1.sinks.k1.hdfs.filePrefix = events-  
  3. a1.sinks.k1.hdfs.round = true  
  4. a1.sinks.k1.hdfs.roundValue = 1  
  5. a1.sinks.k1.hdfs.roundUnit = hour  
  6. a1.sinks.k1.hdfs.useLocalTimeStamp = true  

或者修改hdfs.timeZone这个参数使之可以和我们上传的log文件的日期格式一样应该就可以了,没有测试过。
0 0