《Apache Flume教程》第六章 Flum的配置和使用方法

摘要: 　　安装水槽后，需要使用配置文件，该文件是具有Java属性文件来配置它的键值对。我们需要将值传递给文件中的键。　　在Flume配置文件中，我们需要-　　命名当前代理的组件。　　描述/配置源。　　描述/配置接收器。 ...

　　安装水槽后，需要使用配置文件，该文件是具有Java属性文件来配置它的键值对。我们需要将值传递给文件中的键。

　　在Flume配置文件中，我们需要-

　　命名当前代理的组件。

　　描述/配置源。

　　描述/配置接收器。

　　描述/配置通道。

　　将源和接收器绑定到通道。

　　通常我们可以在Flume中有多个代理。我们可以使用唯一的名称来区分每个代理。并使用这个名称，我们必须配置每个代理。

　　命名组件

　　首先，您需要命名/列出组件，如源，接收器和代理的通道，如下所示。

　　Flume支持各种源，接收器和通道。它们列在下面给出的表中。

　　您可以使用它们中的任何一个。例如，如果你正在传输使用Twitter源通过一个内存通道到HDFS沉Twitter数据，并代理名称ID?TwitterAgent，然后

　　列出代理的组件后，必须通过向其属性提供值来描述源，接收器和通道。

　　描述源

　　每个源都将有一个单独的属性列表。名为“type”的属性对每个源都是通用的，它用于指定我们使用的源的类型。

　　随着属性“类型”，它是需要提供所有的值所需的特定源的属性来进行配置，如下所示。

　　例如，如果我们考虑到Twitter的来源，以下是属性，这是我们必须提供值来配置它。

　　描述水槽

　　就像源，每个sink将有一个单独的属性列表。名为“type”的属性对每个sink都是通用的，它用于指定我们使用的sink的类型。随着属性“类型”，它是需要提供的值的所有所需的特定水槽的属性来进行配置，如下所示。

　　例如，如果我们考虑HDFS下沉，下面是属性，这是我们必须提供值来配置它。

　　描述频道

　　Flume提供各种通道在源和汇之间传输数据。因此，与源和信道一起，需要描述在代理中使用的信道。

　　要描述每个通道，您需要设置所需的属性，如下所示。

　　例如，如果我们考虑内存通道，下面是属性，这是我们必须提供值来配置它。

　　将源和信道绑定到信道

　　由于通道连接源和汇，因此需要将它们都绑定到通道，如下所示。

　　以下示例显示如何将源和接收器绑定到通道。在这里，我们考虑的Twitter源，内存通道，和HDFS下沉。