STORM入门之（Flume Kafka集成架构）

来源：互联网发布：淘宝店铺0信誉的多少钱编辑：程序博客网时间：2024/05/20 03:08

Flume

Flume作用：收集日志

组件下载地址：http://archive.apache.org/dist/flume/1.6.0/

版本：1.6.0以上集成Kafka

Flume配置

a1.sources = r1a1.sinks = k1a1.channels = c1 a1.sources.r1.type = syslogudpa1.sources.r1.port = 514a1.sources.r1.host = 0.0.0.0a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSinka1.sinks.k1.brokerList=10.2.4.12:9092,10.2.4.13:9092,10.2.4.14:9092a1.sinks.k1.topic=test_rce_yjda1.sinks.k1.batchSize=20 a1.channels.c1.type = memorya1.channels.c1.capacity = 10000a1.channels.c1.transactionCapacity = 10000 a1.sources.r1.channels = c1a1.sinks.k1.channel = c1

启动命令

/flume/apache-flume-1.6.0-bin/bin/flume-ng agent --conf conf --conf-file /flume/apache-flume-1.6.0-bin/conf/syslog.conf --name a1 -Dflume.root.logger=INFO,console

Kafka

Kafka作用：缓存日志

监听是否发送至集群中

（1）shell 传送门：http://blog.csdn.net/yl3395017/article/details/73650250

（2）消费传送门：http://blog.csdn.net/yl3395017/article/details/77547881

Storm

Strom作用：流式处理

（1）消费Kafka集群信息传送门：http://blog.csdn.net/yl3395017/article/details/77477716

效果

阅读全文

1 0