cdh5.5.1 配置启动flume
来源:互联网 发布:淘宝热搜关键词排行榜 编辑:程序博客网 时间:2024/06/06 00:01
一、如何使用flume
在CDH界面添加服务,选择flume之后选择主机,flume服务就启动了,下面就是配置参数
二、关于配置文件
有些网友在配置flume的时候,配置文件保存正常没有报错,但是hdfs上就没有数据,
host = hadoop05.test
service_name = flume
service_version = 5
service_release = 5.5.1
role_name = flume-AGENT-b0f62894530a4576a0548de37a772fa7
collect_interval = 60
log_dir = /var/log/flume-ng
flume_http_port = 41414
agent_name = tier1
flume.conf配置文件
tier1.sources=r1
tier1.sinks=k1
tier1.channels=c1
tier1.sources.r1.type=spooldir
tier1.sources.r1.spoolDir=/var/lib/hadoop-hdfs/logs
tier1.sources.r1.channels=c1
tier1.sources.r1.fileHeader=false
tier1.sinks.k1.type=hdfs
tier1.sinks.k1.hdfs.path=hdfs://nameservice1/user/hdfs/logs
tier1.sinks.k1.hdfs.fileType=DataStream
tier1.sinks.k1.hdfs.writeFormat=TEXT
tier1.sinks.k1.hdfs.rollInterval=60
tier1.sinks.k1.channel=c1
tier1.channels.c1.type=file
tier1.channels.c1.checkpointDir=./file_channel/checkpoint
在CDH界面添加服务,选择flume之后选择主机,flume服务就启动了,下面就是配置参数
二、关于配置文件
有些网友在配置flume的时候,配置文件保存正常没有报错,但是hdfs上就没有数据,
原因是因为,CDH的 cloudera-monitor.properties里配置agent_name,所以我们配置的时候需要使用这个名字,
cloudera-monitor.properties文件内容
host = hadoop05.test
service_name = flume
service_version = 5
service_release = 5.5.1
role_name = flume-AGENT-b0f62894530a4576a0548de37a772fa7
collect_interval = 60
log_dir = /var/log/flume-ng
flume_http_port = 41414
agent_name = tier1
flume.conf配置文件
tier1.sources=r1
tier1.sinks=k1
tier1.channels=c1
tier1.sources.r1.type=spooldir
tier1.sources.r1.spoolDir=/var/lib/hadoop-hdfs/logs
tier1.sources.r1.channels=c1
tier1.sources.r1.fileHeader=false
tier1.sinks.k1.type=hdfs
tier1.sinks.k1.hdfs.path=hdfs://nameservice1/user/hdfs/logs
tier1.sinks.k1.hdfs.fileType=DataStream
tier1.sinks.k1.hdfs.writeFormat=TEXT
tier1.sinks.k1.hdfs.rollInterval=60
tier1.sinks.k1.channel=c1
tier1.channels.c1.type=file
tier1.channels.c1.checkpointDir=./file_channel/checkpoint
tier1.channels.c1.dataDirs=./file_channel/data
三、flume二次开发
根据自己的业务需求,收集日志文件,还可以自己开发修改flume的源代码,满足自己的需求。
二次开发参考:https://github.com/huyanping/flume-sinks-safe-roll-file-sink
0 0
- cdh5.5.1 配置启动flume
- flume配置与启动
- CDH配置启动flume
- flume启动配置
- flume配置启动
- cdh5.4.7 flume使用
- flume学习02-flume安装配置启动
- CDH5 配置LZO
- cdh5配置hbase权限
- Flume配置
- flume配置
- flume配置
- CDH5.2.0 yarn启动失败
- CDH5.1从采集(Flume)到索引(Solr)
- CDH5.1从Flume采集到索引(Solr)
- CDH5: 使用parcels配置lzo
- Ignite+CDH5.8安装配置
- 第一章 启动 flume
- stm32 ADC相关
- iOS 判断时间(昨天,今天,明天)
- spring REST 不能映射问题解决
- java设计模式—迭代器模式
- Java对象的序列化和反序列化
- cdh5.5.1 配置启动flume
- ionic学习二、Android模拟器搭建
- css中伪元素也可以和css类相结合
- hdu 1061
- 【Android进阶篇】Fragment的两种加载形式
- 使用zabbix监控tcp连接数
- 浅谈STL
- Android Fragment 生命周期
- PyEmu:一个多用途的IA-32模拟器脚本