《Apache Flume教程》第一章 Flume 的简介

摘要: 　　Flume是一个标准，简单，强大，灵活和可扩展的工具，用于从各种数据生产者（网络服务器）到Hadoop的数据摄取。在本教程中，我们将使用简单和说明性的示例来解释ApacheFlume的基本知识以及如何在实践中使用它。　 ...

　　Flume是一个标准，简单，强大，灵活和可扩展的工具，用于从各种数据生产者（网络服务器）到Hadoop的数据摄取。在本教程中，我们将使用简单和说明性的示例来解释ApacheFlume的基本知识以及如何在实践中使用它。

　　合适人群

　　本教程面向所有希望学习使用ApacheFlume将日志和流数据从各种Web服务器传输到HDFS或HBase的过程的专业人员。

　　先决条件

　　为了充分利用本教程，您应该充分了解Hadoop和HDFS命令的基础知识。

　　ApacheFlume-简介

　　什么是Flume？

　　ApacheFlume是一种工具/服务/数据摄取机制，用于收集聚集和传输大量流数据，如日志文件，事件（等...）从各种来源到集中式数据存储。

　　Flume是一个高度可靠，分布式和可配置的工具。它主要设计用于将流数据（日志数据）从各种Web服务器复制到HDFS。

　　Flume的应用

　　假设电子商务Web应用程序想要分析来自特定区域的客户行为。为此，他们需要将可用的日志数据移入Hadoop进行分析。这里，ApacheFlume来到我们的救援。

　　Flume用于将应用服务器生成的日志数据以更高的速度移动到HDFS中。

　　Flume的优点

　　这里有使用Flume的优点-

　　使用ApacheFlume，我们可以将数据存储到任何集中式存储（HBase，HDFS）中。

　　当传入数据速率超过数据可写入目标的速率时，Flume充当数据生成器和集中存储之间的中介，并在它们之间提供稳定的数据流。

　　水槽提供的特征的上下文路由。

　　Flume中的事务是基于信道的，其中为每个消息维护两个事务（一个发送器和一个接收器）。它保证可靠的消息传递。

　　Flume是可靠的，容错的，可扩展的，可管理的和可定制的。

　　Flume的特点

　　Flume的一些显着特征如下-

　　Flume从多个Web服务器将日志数据有效地摄入到集中式存储（HDFS，HBase）中。

　　使用Flume，我们可以立即从多个服务器获取数据到Hadoop。

　　除了日志文件，Flume还用于导入社交网站（如Facebook和Twitter）和电子商务网站（如Amazon和Flipkart）生成的大量事件数据。

　　Flume支持大量源和目标类型。

　　Flume支持多跳流，扇入扇出流，上下文路由等。

　　水槽可以水平缩放。