SparkStreaming数据源Flume

来源:互联网 发布:淘宝刷信用卡套现 编辑:程序博客网 时间:2024/04/29 07:00

架构:

 

 

为什么放进kakfa

 Habasehdfshadoopstreaming都可以直接消费。

 

自定义规则创建分区,放进kafka

 

Kafka的数据处理完毕增加标签,保证数据全被处理。

 

监控数据工具?

Sparkstreaming 360度交互式可视化。

Ganlia

 

数据落地?

Mysql:数据量小

Redis:数据一般

Habse:数据最大

Memsql,比mysql速度快20

Es

Memcatched

0 0
原创粉丝点击