用flume提交文件到hdfs系统,并保持原来的文件名信息
来源:互联网 发布:局网络管理办法 编辑:程序博客网 时间:2024/05/16 09:14
用flume提交文件到hdfs系统,并保持原来的文件名信息的配置方式:
# 配置files_source
# spooling
agent1.sources.files_source.type = spooldir
agent1.sources.files_source.spoolDir = /tmp/flumetest/
agent1.sources.files_source.fileHeader = true
agent1.sources.files_source.fileHeaderKey = fileName
# 配置hdfs_sink
agent1.sinks.hdfs_sink.type = hdfs
agent1.sinks.hdfs_sink.hdfs.path = hdfs://localhost:9000/myflumetestcluster/flume
agent1.sinks.hdfs_sink.fileType = SequenceFile
# agent1.sinks.hdfs_sink.fileType = DataStream #值DataStream表示文件类型,不会被压缩
# agent1.sinks.hdfs_sink.writeFormat = Text #针对DataStream,使用Text输出格式
agent1.sinks.hdfs_sink.hdfs.filePrefix = %{fileName} #把原来的文件名作为前缀
2 0
- 用flume提交文件到hdfs系统,并保持原来的文件名信息
- Flume采集数据到HDFS时,生成的文件中,开头信息有乱码
- flume保存文件到hdfs的时候报错
- flume上传文件到hdfs上
- flume监控目录文件到hdfs
- Flume之监听目录变化并上传文件到HDFS中
- 统计系统的登录信息 并写入到文件中
- flume的导日志数据到hdfs
- Flume:本地文件到HDFS
- 模拟使用Flume监听日志变化,并且把增量的日志文件写入到hdfs中
- 多个Flume合并一个channel上传文件到Hdfs
- Flume采集数据到HDFS时,文件中有乱码
- 使用flume将avro文件上传到hdfs上
- flume 抽取图片文件数据写入到HDFS
- Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS
- 【Flume】【源码分析】flume中sink到hdfs,文件系统频繁产生文件,文件滚动配置不起作用?
- 【Flume】【源码分析】flume中sink到hdfs,文件系统频繁产生文件,文件滚动配置不起作用?
- 【Flume】flume中sink到hdfs,文件系统频繁产生文件,文件滚动配置不起作用?
- ios获取app当前的版本号
- pmap学习:系统测试中怎么确定内存泄露(memory leak)
- 谈薪:不要接受对方第一次开价!
- UNIX -- NTP 命令
- java(10)--DOM之用户登录验证(正则)
- 用flume提交文件到hdfs系统,并保持原来的文件名信息
- Java 反序列化攻击
- 09809880
- 递归算法
- 把Tomcat做成系统服务
- 09809809809
- 文章标题875647453
- Cause: org.postgresql.util.PSQLException: ERROR: duplicate key value violates unique constraint "veh
- 不让苹果开发者账号折磨我