Flume整合HDFS
来源:互联网 发布:如何看待知乎live 编辑:程序博客网 时间:2024/06/06 01:02
#agent1表示代理名称 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #Spooling Directory是监控指定文件夹中新文件的变化,一旦新文件出现,就解析该文件内容,然后写入到channle。写入完成后,标记该文件已完成或者删除该文件。 #配置source1 agent1.sources.source1.type=spooldir agent1.sources.source1.spoolDir=/home/hadoop/flume/data agent1.sources.source1.channels=channel1 agent1.sources.source1.fileHeader = false agent1.sources.source1.interceptors = i1 agent1.sources.source1.interceptors.i1.type = timestamp #配置channel1 # Use a channel which buffers events in memoryagent1.channels.channel1.type = memoryagent1.channels.channel1.capacity = 1000agent1.channels.channel1.transactionCapacity = 100 #配置sink1 agent1.sinks.sink1.type=hdfs agent1.sinks.sink1.hdfs.path=hdfs://master:9000/flumeagent1.sinks.sink1.hdfs.fileType=DataStream agent1.sinks.sink1.hdfs.writeFormat=TEXT agent1.sinks.sink1.hdfs.rollInterval=1 agent1.sinks.sink1.channel=channel1 agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d
查看HDFS
0 0
- Flume整合HDFS
- hbase+flume+hdfs整合
- flume整合kafka和hdfs
- flume+kafka+storm+hdfs整合
- flume+kafka+storm+hdfs整合
- flume+kafka+storm+hdfs整合
- flume-NG整合hdfs和kafka
- flume+hdfs
- 2017-08-14 flume+kafka+storm+hdfs整合
- Flume:本地文件到HDFS
- flume与hdfs集成
- flume sink hdfs异常
- flume+kafka+hdfs详解
- flume + hdfs 案例
- Flume hdfs 案例
- flume+kafka+storm+hdfs
- flume-ng+Kafka+Storm+HDFS+jdbc 实时系统搭建的完美整合
- Flume NG flume-hdfs-sink 源代码分析
- Execution failed for task ':app:clean'.
- poj1656
- 原因:安装MySQL-python-1.2.3.win-amd64-py2.7.exe,时提示:Python version 2.7 required, which was not found in
- WebLogic 12c 中使用Xfire/axis2时,创建客户端总是报类名空间冲突的错误
- 机房收费系统之初认识
- Flume整合HDFS
- Linq语法详细
- 商品ElasticSearch的查询改造
- 手把手教你玩转酷炫CSS3 3D技术!
- 集合Bootstrap自定义confirm
- 浅析 Linux 中的时间编程和实现原理,第 3 部分: Linux 内核的工作
- ios-UI高级多线程 GCD实现单例模式
- windows下flask初探
- 键盘事件