CDH配置启动flume
来源:互联网 发布:单片机怎么才学的好 编辑:程序博客网 时间:2024/05/16 09:51
目录:
一、如何使用flume
二、进入配置管理
三、关于配置文件
四、flume二次开发
—————————————————————————————————————-
请提前参考我的Flume博客:
http://blog.csdn.net/silentwolfyh/article/category/6186343
一、如何使用flume
在CDH界面添加服务,选择flume之后选择主机,flume服务就启动了,下面就是配置参数
二、进入配置管理
三、关于配置文件
有些网友在配置flume的时候,配置文件保存正常没有报错,但是hdfs上就没有数据,
原因是因为,CDH的 cloudera-monitor.properties里配置agent_name,所以我们配置的时候需要使用这个名字,
cloudera-monitor.properties文件内容
[agent]
host = hadoop05.test
service_name = flume
service_version = 5
service_release = 5.5.1
role_name = flume-AGENT-b0f62894530a4576a0548de37a772fa7
collect_interval = 60
log_dir = /var/log/flume-ng
flume_http_port = 41414
agent_name = tier1
flume.conf配置文件
tier1.sources=r1
tier1.sinks=k1
tier1.channels=c1
tier1.sources.r1.type=spooldir
tier1.sources.r1.spoolDir=/var/lib/hadoop-hdfs/logs
tier1.sources.r1.channels=c1
tier1.sources.r1.fileHeader=false
tier1.sinks.k1.type=hdfs
tier1.sinks.k1.hdfs.path=hdfs://nameservice1/user/hdfs/logs
tier1.sinks.k1.hdfs.fileType=DataStream
tier1.sinks.k1.hdfs.writeFormat=TEXT
tier1.sinks.k1.hdfs.rollInterval=60
tier1.sinks.k1.channel=c1
tier1.channels.c1.type=file
tier1.channels.c1.checkpointDir=./file_channel/checkpoint
tier1.channels.c1.dataDirs=./file_channel/data
四、flume二次开发
根据自己的业务需求,收集日志文件,还可以自己开发修改flume的源代码,满足自己的需求。
二次开发参考:https://github.com/huyanping/flume-sinks-safe-roll-file-sink
- CDH配置启动flume
- flume配置与启动
- flume启动配置
- flume配置启动
- CDH的Flume配置Adding multiple flows in an agent
- flume学习02-flume安装配置启动
- CDH中服务的配置及启动
- cdh5.5.1 配置启动flume
- Flume配置
- flume配置
- flume配置
- ganglia cdh 配置
- CDH安装配置LDAP
- cdh配置kerberos
- CDH-LZO配置
- CDH HDFS failover 配置
- cdh安装配置笔记
- CDH配置报警服务
- cesium核心类Viewer简介
- 几个例子说明JAVA中的equals和==区别
- win7文件夹或文件已在另一个程序中打开
- 机器学习之—最小二乘问题
- java中File类的使用方法
- CDH配置启动flume
- CCUserDefault存放路径
- STM8S类型单片机UART一直进入接收中断问题解决方案
- os.mkdir()调用时出现WindowsError:[Error 5]
- list用法示例详解
- js中单击和双击事件的区分
- mac升级系统后 pod: command not found
- Trafodion 资源配置需求
- 很有用的AngularJS 介绍