Flume学习04 — Sink
来源:互联网 发布:商家如何退出农村淘宝 编辑:程序博客网 时间:2024/05/17 13:09
Flume提供了大量的Sink,下面主要介绍HDFS Sink、Avro Sink、Thrift Sink、Kafka Sink、HBase Sink。
HDFS Sink
HDFS Sink直接把Event数据写入Hadoop Distributed File System(HDFS)。HDFS Sink支持输出文本文件(text file)和序列文件(sequence file),同时还可以对数据进行压缩。数据文件可以根据固定时间间隔、文件大小或者Event数据数量创建。HDFS Sink需要Hadoop支持。
HDFS Sink参考配置
a1.channels = c1a1.sinks = k1a1.sinks.k1.type = hdfsa1.sinks.k1.channel = c1a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%Sa1.sinks.k1.hdfs.filePrefix = eventsa1.sinks.k1.hdfs.round = truea1.sinks.k1.hdfs.roundValue = 10a1.sinks.k1.hdfs.roundUnit = minute
Kafka Sink
Kafka Sink是Flume内置的Sink,只要稍微做配置,就可以把Event直接输出到Kafka Topic中,目前Flume支持Kafka 0.8.x系列。
Kafka Sink参考配置
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSinka1.sinks.k1.topic = mytopica1.sinks.k1.brokerList = localhost:9092a1.sinks.k1.requiredAcks = 1a1.sinks.k1.batchSize = 20a1.sinks.k1.channel = c1
Avro Sink
把数据转成Avro Event格式,并发送到指定Avro端口,Event数据会批量发送,每次发送的数量可以在batch-size中设置。
Avro Sink参考配置
a1.channels = c1a1.sinks = k1a1.sinks.k1.type = avroa1.sinks.k1.channel = c1a1.sinks.k1.hostname = 10.10.10.10a1.sinks.k1.port = 4545
Thrift Sink
Thrift Sink和Avro Sink类似,把数据转成Thrift Event格式,并发送到指定Thrift端口,Event数据会批量发送,每次发送的数量可以在batch-size中设置。Thrift Sink支持安全模式,可以在配置文件中设置。
Thrift Sink参考配置
a1.channels = c1a1.sinks = k1a1.sinks.k1.type = thrifta1.sinks.k1.channel = c1a1.sinks.k1.hostname = 10.10.10.10a1.sinks.k1.port = 4545
HBase Sink
HBase Sink分为同步(HBaseSink)和异步(AsyncHBaseSink)。
1 0
- Flume学习04 — Sink
- Flume Sink
- Flume学习笔记 --- Flume内置source,channel, sink介绍
- flume四:flume sink介绍
- flume sink hdfs异常
- flume自定义sink source
- flume自定义sink
- flume开发--自定义Sink
- flume hbase sink配置
- flume开发--自定义Sink
- flume自定义sink
- Flume--failover sink processor
- Flume Sink Processor
- flume 自定义 hbase sink 类
- flume source、sink、Channels测试
- flume kafka-sink high cpu
- Flume中的HDFS Sink配置
- Flume<HDFS Sink参数配置>
- OnCtlColor(CDC* pDC, CWnd* pWnd, UINT nCtlColor)的用法
- vix --- 免路径输入的vim
- cocos Httpclient 上传文件到服务器
- 如何保持守护进程被杀死后能够再次启动
- Failed to execute goal org.apache.maven.plugins:maven-war-plugin:2.2:war (default-war) on project Th
- Flume学习04 — Sink
- 黑马程序员 Java基础——Collection接口
- 什么是汇编语言(一) 汇编底层原理,指令字节码
- debian 中定时任务cron使用
- 理解字符集和编码
- FragmentPagerAdapter 和 FragmentStatePagerAdapter 区别
- UI17_NetWorkingTool
- 什么是汇编语言(二) 高级语言与汇编
- 基类指针指向派生类对象