flume 的kafka sink及 taill 命令

来源：互联网发布：软件采样稳定信号算法编辑：程序博客网时间：2024/05/24 00:33

本文内容：
flume 通过监控文件然后将结果输出到 kafka ，其实也就是使用kafkaSink

步骤

安装zookeeper 略
安装 kafka 略
安装flume 略
以上的内容我的其他博客都有写。

新建flume 配置文件 kafkaSink.conf内容如下：

（source 使用 exec channel 使用memory，sink 是官方的kafkaSink ）

a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = execa1.sources.r1.shell = /bin/bash -ca1.sources.r1.channels = c1a1.sources.r1.command = tail -F /opt/apps/logs/tail4.log# Use a channel which buffers events in memorya1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100#sinka1.sinks.k1.channel = c1a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSinka1.sinks.k1.kafka.topic = mytopica1.sinks.k1.kafka.bootstrap.servers = localhost:9092a1.sinks.k1.kafka.flumeBatchSize = 20a1.sinks.k1.kafka.producer.acks = 1a1.sinks.k1.kafka.producer.linger.ms = 1a1.sinks.ki.kafka.producer.compression.type = snappy

taill

注意：向被监控的文件tail4.log 发送信息时， 切记不要使用 vi  命令，应该使用 echo 命令发送，因为 vi 命令会产生文件锁，将文件锁住，此时tail 命令就不能及时的取出信息，放入channel 也不能通过sink 发送到kafka .

0 0