flume概念入门

flume一句话理解即是关于数据的管道处理开箱即用框架。flume agent的三个基本概念即为:source ,channel,sink.即数据读取，数据处理，数据写入三个阶段。要作数据处理，首先要解决的是数据收集的问题。如果这个问题解决不了，根本谈不上数据的处理。flume的source帮我们解决了这个问题，并且对于数据读取的吞吐量的问题，也顺便给我们解决了。

flume channel作为数据传输管理保证了数据在传输过程中不丢失，这解决了数据的遗漏的问题;flume sink是数据的写入。flume它的一个更牛的是，它可以类似高铁动车车箱，一节一节的接起来，从而形成一个有向无环图，无穷无尽。那么数据处理能力，则是刚刚的。关于flume的使用，主要是配置文件的配置。它的框架思路是很容易理解的，使用也很容上手。开源时代就是好啊！

所以我们在使用flume时，只要关注它的三个组件source,channel,sink。主要的工作就是扩展flume生态圈中没有source来读取我们特殊的存储设备上的业务数据;扩展flume生态圈中没有channel来处理我们接收到的数据;扩展flume生态圈没有sink在写入我们特殊的存储设备。然后构建更强大的flume agent 框架来处理相应的业务数据问题。