Flume-ng数据连接kafka

本文介绍一些关于kafka有关的数据交互。

Flume+kafka

1. 安装Flume

安装包：  apache-flume-1.6.0-bin

安装过程这里不予说明，详见《Flume-ng安装.pdf》

2. 安装kafka

安装包：  kafka_2.11-0.9.0.0

安装过程这里不予说明，详见《kafka集群安装.pdf》

3. 下载插件包

下载地址：https://github.com/beyondj2ee/flumeng-kafka-plugin

包名： flumeng-kafka-plugin-master.zip

4. 修改配置文件

提取插件中的flume-conf.properties文件

修改该文件：

#source section

producer.sources.s.type = exec

producer.sources.s.command = tail -f -n+1 /app/data/flume/test.log

producer.sources.s.channels = c

 

producer.sinks.r.custom.topic.name=test2

 

consumer.sources.s.zookeeper.connect=127.0.0.1:42182

consumer.sources.s.custom.topic.name=test2

红色部分可根据实际情况自行修改

将改后的配置文件放进flume/conf目录下。

5. 添加jar包

插件libs目录下

 

插件package目录下

 

如果是flume1.6.0版本还需要添加kafka项目libs目录中的

kafka-clients-0.9.0.0.jar

把以上jar包全部添加到flume的libs目录下。

6. 启动

先启动zookeeper

zkServer.sh  start        （注意启动目录生成out文件）

 

启动kafka

bin/kafka-server-start.sh -daemon config/server.properties &

 

最后再启动flume

nohup bin/flume-ng agent --conf conf --conf-file conf/flume.conf.properties--nameproducer -Dflume.root.logger=INFO,console &

7. 测试

echo “aaaaaaaaaaaaaaaa” 〉〉/app/data/flume/test.log

查看kafka消费信息

bin/kafka-console-consumer.sh --zookeeper localhost:42182 --topic test2 --from-beginning