flume 参考文档 (一)
来源:互联网 发布:tsp 组合优化问题 编辑:程序博客网 时间:2024/05/21 18:39
Flume配置文件(flume-site.conf)
1、 watchdog
watchdog.restarts.max
watchdog每分钟重启的最大数???
2、 common node
flume.config.heartbeat.period
node发送心跳周期,默认5000(毫秒)
flume.node.status.port
node web端口
flume.node.heartbeat.backoff.ceiling
node向master发送心跳之后等待反馈的最大时长,默认60000(毫秒)
flume.node.http.autofindport
如果已有node启动,允许第二个node自动选择一个未使用的端口做web服务。多个node的界面端口从35862、35863向后延续
3、agent
flume.agent.logdir
agent日志路径
flume.agent.logdir.maxage
当前处于打开状态agent日志文件收集信息的时长,在这之后该日志文件将会被关闭,并将数据发送到网络,默认10000(毫秒)
flume.agent.logdir.retransmit
在end-to-end模式下agent向collector发送数据失败后再次发送的间隔时长,默认60000(毫秒),建议至少是flume.collector.roll.millis的两倍
flume.agent.failover.backoff.initial
当primary sink(可以认为是第一collector)故障后,重启primary sink的一个延迟时间,在此期间,agent将把数据发送到secondary sink(可能是第二collector)
flume.agent.failover.backoff.max
在一定时限内尝试链接故障节点失败后,agent将把数据转发向备用节点
4、collector
flume.collector.event.host
默认collector地址
flume.collector.port
默认collector端口
flume.collector.dfs.dir
最终数据发向目录(默认),可以是本地,可以是hdfs,默认是/tmp
flume.collector.dfs.compress.codec
压缩格式GzipCodec, DefaultCodec (deflate), BZip2Codec,默认是None
flume.collector.roll.millis
hdfs文件切换(关闭后新建)的时长
flume.collector.output.format
collector发送数据格式avro, avrojson(默认), avrodata…
5、master
flume.master.servers
用逗号分隔多个master地址列表
flume.master.store
master配置存储方式(zookeeper/memory) zookeeper保证master的配置在多master节点之间同步,memory则保存在内存中,其配置随着master宕机而丢失
flume.master.serverid
master的唯一标识
flume.master.http.port
http端口
flume.master.heartbeat.missed.max
判断节点失效的最大未达心跳数
flume.master.savefile
当前flume配置文件的路径,默认conf/current.flume
flume.master.savefile.autoload
启动时是否加载current.flume,默认false
flume.master.gossip.period
master通信周期(毫秒)
flume.master.heartbeat.rpc
THRIFT/AVRO
flume.event.rpc
THRIFT/AVRO
flume.report.server.rpc.type
THRIFT/AVRO
6、zookeeper
flume.master.zk.logdir
zookeeper日志路径
7、thrift
flume.thrift.socket.timeout.ms
Please note this document is forwarded from
http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/18/2050443.html
- flume 参考文档 (一)
- flume 参考文档 (一)
- flume 参考文档 (二)
- flume 参考文档 (三)
- flume 参考文档 (四)
- flume 参考文档 (二)
- flume 参考文档 (三)
- flume 参考文档 (四)
- flume参考文档
- flume参考文档
- Flume官方文档翻译之(一)
- flume配置参考
- 参考文档
- 参考文档
- 参考文档
- Flume教程(一) Flume入门教程
- flume学习一:flume基础知识
- 【Hadoop】Flume官方文档翻译——Flume 1.7.0 User Guide (unreleased version)(一)
- 手机iphone ios android 打开QQ对话框的网页代码!
- 利息计算器
- 【IOS游戏开发】之 一年两次加速审核机会
- 配置PHP环境时 phpinfo()显示空白
- GlassFish4 的admin默认密码为空
- flume 参考文档 (一)
- 改变音量的log
- 除去空格,使句子完美
- Windows Phone 8开发技巧与案例精解推荐
- 电脑无法连接到个别的无线网络
- 十字路口的程序员
- flume 参考文档 (二)
- 升级SDK时超时
- GlassFish 的安装及设置命令