flume从本地读取数据录入到hdfs文件系统
来源:互联网 发布:python递归函数怎么写 编辑:程序博客网 时间:2024/06/06 10:01
配置文件
agent.sources = origin
agent.channels = memorychannel
agent.sinks = target
agent.sources.origin.type = TAILDIR
agent.sources.origin.filegroups=f1
agent.sources.origin.filegroups.f1=/hadoop/flume/logs/test/.*.log*
agent.sources.origin.channels = memorychannel
agent.sources.origin.positionFile=/hadoop/flume/logs/test/position.json
agent.sinks.loggerSink.type = logger
agent.sinks.loggerSink.channel = memorychannel
agent.channels.memorychannel.type = memory
agent.channels.memorychannel.capacity = 1000
agent.channels.memorychannel.transactionCapacity = 100
agent.sinks.target.type = hdfs
agent.sinks.target.channel = memorychannel
agent.sinks.target.hdfs.path = hdfs://127.0.0.1:9000/flume/events/%y-%m-%d/%H%M%S
agent.sinks.target.hdfs.filePrefix = data-%{host}
agent.sinks.target.hdfs.rollInterval = 30
agent.sinks.target.hdfs.rollSize = 100
agent.sinks.target.hdfs.rollCount = 0
agent.sinks.target.hdfs.round = true
agent.sinks.target.hdfs.useLocalTimeStamp = true
agent.sinks.target.hdfs.minBlockReplicas=1
agent.sinks.target.hdfs.writeFormat=Text
agent.sinks.target.hdfs.fileType=DataStream
把hdfs的驱动包放入到flum的lib目录下
- flume从本地读取数据录入到hdfs文件系统
- flume采集本地数据到hdfs
- 5.Flume实时监控读取日志数据,存储hdfs文件系统
- hive从hdfs文件系统里面读取数据
- Hadoop实验:按规则读取HDFS文件系统写入到本地
- flume流(三)如何用flume流从本地传输文件到hdfs?
- flume采集数据到hdfs
- flume 采集数据到hdfs
- 从本地读取文件到hdfs中注意事项
- flume 读取tcp写到hdfs
- JAVA实现:将文件从本地上传到HDFS上、从HDFS上读取等操作
- flume从kafka导数据到hdfs
- 关于如何从hdfs上导大数据到本地
- hadoop 从mysql中读取数据写到hdfs
- 3、flume数据导入到Hdfs中
- flume的导日志数据到hdfs
- hadoop从入门到放弃(一)之flume获取数据存入hdfs
- flume从kafka获取数据并按时间保存到hdfs上
- 创建用户的脚本
- git检出指定子目录和指定文件的实现
- 贴一段POI导出代码----POI使用注意事项更新。20170323更新使用
- 机器学习之 损失函数和风险函数
- Linux下Redis的安装和部署
- flume从本地读取数据录入到hdfs文件系统
- C#数组、结构和类学习
- [MySQL]
- bzoj1629[Usaco2007 Demo]Cow Acrobats
- spring文件上传
- 解读浮动闭合最佳方案:clearfix
- Unity3D导入3DMax模型缩放单位问题深入分析
- Tool tip
- JavaMail使用SSL遇到安全证书问题