flume 参考文档 (三)
来源:互联网 发布:电子签到系统源码 编辑:程序博客网 时间:2024/05/06 13:24
Flume Source
1、Flume’s Tiered Event Sources
collectorSource[(port)]
Collector source,监听端口汇聚数据
autoCollectorSource
通过master协调物理节点自动汇聚数据
logicalSource
逻辑source,由master分配端口并监听rpcSink
2、Flume’s Basic Sources
null
console
监听用户编辑历史和快捷键输入,只在node_nowatch模式下可用
stdin
监听标准输入,只在node_nowatch模式下可用,每行将作为一个event source
rpcSource(port)
由rpc框架(thrift/avro)监听tcp端口
text("filename")
一次性读取一个文本,每行为一个event
tail("filename"[, startFromEnd=false])
每行为一个event。监听文件尾部的追加行,如果startFromEnd为true,tail将从文件尾读取,如果为false,tail将从文件开始读取全部数据
multitail("filename"[, file2 [,file3… ] ])
同上,同时监听多个文件的末尾
tailDir("dirname"[, fileregex=".*"[, startFromEnd=false[, recurseDepth=0]]])
监听目录中的文件末尾,使用正则去选定需要监听的文件(不包含目录),recurseDepth为递归监听其下子目录的深度
seqfile("filename")
监听hdfs的sequencefile,全路径
syslogUdp(port)
监听Udp端口
syslogTcp(port)
监听Tcp端口
syslogTcp1(port)
只监听Tcp端口的一个链接
execPeriodic("cmdline", ms)
周期执行指令,监听指令的输出,整个输出都被作为一个event
execStream("cmdline")
执行指令,监听指令的输出,输出的每一行被作为一个event
exec("cmdline"[,aggregate=false[,restart=false[,period=0]]])
执行指令,监听指令的输出,aggregate如果为true,整个输出作为一个event如果为false,则每行作为一个event。如果restart为true,则按period为周期重新运行
synth(msgCount,msgSize)
随即产生字符串event,msgCount为产生数量,msgSize为串长度
synthrndsize(msgCount,minSize,maxSize)
同上,minSize – maxSize
nonlsynth(msgCount,msgSize)
asciisynth(msgCount,msgSize)
Ascii码字符
twitter("username","pw"[,"url"])
尼玛twitter的插件啊
irc("server",port, "nick","chan")
scribe[(+port)]
Scribe插件
report[(periodMillis)]
生成所有physical node报告为事件源
- flume 参考文档 (三)
- flume 参考文档 (三)
- flume 参考文档 (一)
- flume 参考文档 (二)
- flume 参考文档 (四)
- flume 参考文档 (一)
- flume 参考文档 (二)
- flume 参考文档 (四)
- flume参考文档
- flume参考文档
- Flume官方文档翻译之(三)
- JavaScript 参考教程 之三:文档对象
- Log4j配置学习文档之三 参考
- nginx学习文档之三 参考
- Projeny-YAML设置参考文档(三)
- flume配置参考
- 参考文档
- 参考文档
- flume 参考文档 (二)
- 安装hive-0.10.0-cdh4.5.0整合到hbase
- vc++ error CVT1100: 资源重复。类型: VERSION,名称: 1,语言: 0x0804
- 使用VC扩展Python编译出错的问题
- 项目Wiki的选择和配置
- flume 参考文档 (三)
- 在hibernate中有的数据库版本过高解决数据库乱码问题
- DUILIB使用笔记
- 判断当前时间为本月的第几周,本周的第几天
- Ubuntu使用手册
- flume 参考文档 (四)
- Linux常用命令
- http文件断点上传
- (12)JavaIO流