Flume整体汇总
来源:互联网 发布:手机怎么删除淘宝评论 编辑:程序博客网 时间:2024/05/18 00:51
Flume Source
Source类型说明Avro Source支持Avro协议(实际上是Avro RPC),内置支持Thrift Source支持Thrift协议,内置支持Exec Source基于Unix的command在标准输出上生产数据JMS Source从JMS系统(消息、主题)中读取数据,ActiveMQ已经测试过Spooling Directory Source监控指定目录内数据变更Twitter 1% firehose Source通过API持续下载Twitter数据,试验性质Netcat Source监控某个端口,将流经端口的每一个文本行数据作为Event输入Sequence Generator Source序列生成器数据源,生产序列数据Syslog Sources
syslogtcp
multiport_syslogtcp
syslogudp
读取syslog数据,产生Event,支持UDP和TCP两种协议HTTP Source基于HTTP POST或GET方式的数据源,支持JSON、BLOB表示形式Legacy Sources兼容老的Flume OG中Source(0.9.x版本)
Avro Legacy Source
Thrift Legacy Source
Scribe Source
Custom Source
自定义Source
Flume Sink
Sink类型说明HDFS Sink数据写入HDFSLogger Sink数据写入日志文件Avro Sink数据被转换成Avro Event,然后发送到配置的RPC端口上Thrift Sink数据被转换成Thrift Event,然后发送到配置的RPC端口上IRC Sink数据在IRC上进行回放File Roll Sink存储数据到本地文件系统Null Sink丢弃到所有数据HBase Sink数据写入HBase数据库Morphline Solr Sink数据发送到Solr搜索服务器(集群)ElasticSearch Sink数据发送到Elastic Search搜索服务器(集群)Kite Dataset Sink写数据到Kite Dataset,试验性质的Custom Sink自定义Sink实现Flume Channel
Channel类型说明Memory ChannelEvent数据存储在内存中JDBC ChannelEvent数据存储在持久化存储中,当前Flume Channel内置支持DerbyFile ChannelEvent数据存储在磁盘文件中Spillable Memory ChannelEvent数据存储在内存中和磁盘上,当内存队列满了,会持久化到磁盘文件(当前试验性的,不建议生产环境使用)Pseudo Transaction Channel测试用途Custom Channel自定义Channel实现阅读全文
0 0
- Flume整体汇总
- flume-ng 整体介绍
- Flume整体架构介绍
- Flume相关技术汇总
- 问题整体汇总
- 整体认识flume:Flume介绍、分布式安装、常见问题及解决方案
- Flume架构与源码分析-整体架构
- Flume-NG源码分析-整体结构及配置载入分析
- Flume 1.7 源码分析(二)整体架构
- flume组件汇总 (source, channel, sink)
- D13 辅助系统汇总flume/azkaban/sqoop
- Flume组件汇总 source、sink、channel
- 数据挖掘笔记-特征选择-整体汇总
- Flume
- Flume
- flume
- flume
- flume
- LeetCode-151. Reverse Words in a String
- 打包遇到的bugcom.android.ide.common.signing.KeytoolException: Failed to read key youzhi from store "C:\yo
- Gremlin简介
- Spring-Boot (一) Hello Wrold!
- H5播放视频控件介绍
- Flume整体汇总
- 二 Java基础语法
- STS 编辑器与Myeclipse工作空间冲突问题
- 我所理解的Android和iOS上的View
- 中文分词Java简单实现
- IronPython 调用C#线程
- c++调用Python的第二个小程序
- Android下WPS打开Excel2007版也有问题
- Android 5.0(Lollipop)中的SurfaceTexture,TextureView, SurfaceView和GLSurfaceView