《ApacheFlume教程》第七章 Flume如何启动代理

摘要: 　　配置后，我们必须启动Flume代理。它做到如下-　　其中-　　代理?-命令启动水槽剂　　--conf，-cCONF?-在conf目录使用配置文件　　-f文件?-指定配置文件路径，如果失踪　　--name，-n名?-Twitter的代理的名称　　 ...

　　配置后，我们必须启动Flume代理。它做到如下-

　　其中-

　　代理?-命令启动水槽剂

　　--conf，-c?-在conf目录使用配置文件

　　-f<文件>?-指定配置文件路径，如果失踪

　　--name，-n<名>?-Twitter的代理的名称

　　-D属性=值?-设置Java系统属性值。

　　ApacheFlume-获取Twitter数据

　　使用Flume，我们可以从各种服务获取数据，并将其传输到集中式存储（HDFS和HBase）。本章介绍如何从Twitter服务获取数据，并使用ApacheFlume将其存储在HDFS中。

　　如FlumeArchitecture中所讨论的，Web服务器生成日志数据，并且该数据由Flume中的代理收集。通道将此数据缓冲到一个接收器，最终将其推送到集中式存储。

　　在本章提供的示例中，我们将使用ApacheFlume提供的实验性twitter源创建一个应用程序并从中获取tweets。我们将使用内存通道缓冲这些tweets和HDFSsink，以将这些tweets推送到HDFS。

　　要获取Twitter数据，我们将必须按照以下步骤-

　　创建Twitter应用程序

　　安装/启动HDFS

　　配置Flume

　　创建Twitter应用程序

　　为了从Twitter获取tweet，需要创建一个Twitter应用程序。按照以下步骤创建Twitter应用程序。

　　步骤1

　　要创建一个Twitter应用程序，请单击下面的链接https://apps.twitter.com/。登录您的Twitter帐户。您将有一个Twitter应用程序管理窗口，您可以在其中创建，删除和管理Twitter应用程序。

　　第2步

　　点击创建新的应用程序按钮。您将被重定向到一个窗口，在那里您将获得一个申请表，您必须填写您的详细信息，以创建应用程序。却使网站地址，给出完整的URL模式，例如，http://example.com。

　　步骤3

　　填写详细信息，接受开发商协议完成后，点击创建你的Twitter应用程序按钮是在页面的底部。如果一切顺利，将创建一个应用程序与给定的详细信息如下所示。

　　步骤4

　　下键和访问令牌在页面的底部标签上，你可以看到一个按钮和一个名为创建我的访问令牌。单击它以生成访问令牌。

　　步骤5

　　最后，点击测试OAuth的按钮，这是在页面的右侧上方。这将导致它显示你的页面消费的关键，消费者的秘密，访问令牌，以及访问令牌的秘密。复制这些详细信息。这些对于在Flume中配置代理很有用。