Flume + Kafka 学习梳理

Flume

1，flume主要由source，channel，sink组成 。
2，source 扮演生产者。通个各种方式为flume捕获数据，再存到source！
3，channel 从source获得数据，等待sink拿走消息。channel可以通过memery，file等方式记录sink读取数据节点
4，sink 扮演消费者，从channel拿走存在里面的数据，传给对应的type
5，java环境自配。source与sink支持的type在官网可查

# flume 配置文件a1.source   = sc1   a1.channel  = ch1a1.sinks    = sk1# source 配置a1.source.sc1.type = exec   # 可执行命令方式a1.source.sc1.command = tail -F /var/log/message# sink 配置a1.sinks.sk1.type = org.apache.flume.sink.kafka.KafkaSink # 使用kafka 作为sinka1.sinks.sk1.bootstrap.servers = localhost:9092 # 指定kafka地址a1.sinks.sk1.topic= nginx   # kafka定义的topic# channel 配置a1.channel.ch1.type = file  # 采用文件记录数据a1.channel.ch1.checkpointDir=~/.flume/file-channel/checkpointa1.channel.ch1.dataDirs = ~/.flume/file-dir# 关联各组关系a1.sinks.sk1.channel = ch1a1.source.sc1.channel = ch1