Flume + HDFS Sink采集数据及如何添加第三方JAR

Flume默认情况下是没有引入HDFS，Kafka，Elasticsearch，Hbase等sink的相关jar包，如果使用，需要自行添加相关jar包。

下面我以使用HDFS Sink为例，在Flume中加入第三方JAR包。

Flume支持一种特殊的目录结构：plugins.d，它有特殊的格式，可以很方面的管理第三方JAR。当然我们可以直接把第三方JAR丢掉$FLUME_HOME/lib目录，但是这样不利于调试和排除故障，特别是处理JAR包冲突的问题。

plugins.d目录：
plugins.d目录位于$FLUME_HOME/plugins.d。在启动的时候，flume-ng启动脚本会检查 plugins.d 目录的插件确保符合下面的格式，并且包含了正确的路径。

插件目录布局：
每个在 plugins.d 内的插件，最多包含三个子目录。
1，lib - 插件的JAR。
2，libext  - 插件依赖JAR（S）
3，native - 任何所需的本地库，例如：.so文件
下面是两个插件在 plugins.d 目录中的位置（以下以使用HDFS Sink为例）：

    plugins.d/      plugins.d/hdfs-sink/    #flume-hdfs-sink-1.5.1.jar是Flume自带的，所有lib目录为空    plugins.d/hdfs-sink/lib/        #flume-hdfs-sink-1.5.1.jar依赖以下四个包    plugins.d/hdfs-sink/libext/commons-configuration-1.6.jar    plugins.d/hdfs-sink/libext/hadoop-annotations-2.4.1.jar    plugins.d/hdfs-sink/libext/hadoop-auth-2.4.1.jar    plugins.d/hdfs-sink/libext/hadoop-common-2.4.1.jar    plugins.d/hdfs-sink/libext/hadoop-hdfs-2.4.1.jar    #没有本地库    plugins.d/hdfs-sink/native/    #HDFS配置文件    plugins.d/hdfs-sink/conf/hdfs-site.xml    plugins.d/hdfs-sink/conf/core-site.xml

以上是HDFS所需的配置文件和依赖的JAR。

配置Flume环境变量：

JAVA_HOME=/usr/local/jdk1.8.0_45# Give Flume more memory and pre-allocate, enable remote monitoring via JMX#JAVA_OPTS="-Xms100m -Xmx200m -Dcom.sun.management.jmxremote"# Note that the Flume conf directory is always included in the classpath.#将hdfs-site.xml和core-site.xml放入Flume的环境变量中FLUME_CLASSPATH="/data/apache-flume-1.5.1-bin/plugins.d/hdfs-sink/conf/"

ＯＫ，完事具备，最后采集数据到ＨＤＦＳ中

a1.sources = source1a1.sinks = sink1a1.channels = channel1#resourcesa1.sources.source1.type = spooldira1.sources.source1.channels = channel1a1.sources.source1.spoolDir = /data/logsa1.channels.channel1.type = memorya1.channels.channel1.capacity = 1000a1.channels.channel1.transactionCapacity = 500a1.sinks.sink1.type = hdfsa1.sinks.sink1.channel = channel1a1.sinks.sink1.hdfs.path = /flume/events/%Y-%M-%da1.sinks.sink1.hdfs.fileType = DataStreama1.sinks.sink1.hdfs.rollCount = 0a1.sinks.sink1.hdfs.rollSize = 0a1.sinks.sink1.hdfs.rollInterval = 0a1.sinks.sink1.hdfs.rollSize = 1073741824a1.sinks.sink1.hdfs.filePrefix = nginx-%H-%Ma1.sinks.sink1.hdfs.batchSize = 200a1.sinks.sink1.hdfs.round = truea1.sinks.sink1.hdfs.roundValue = 10a1.sinks.sink1.hdfs.roundUnit = minutea1.sinks.sink1.hdfs.useLocalTimeStamp = true

该示例是通过SpoolingDirectorySource获取数据放入ＨＤＦＳ中