一个日志实时处理方案

来源:互联网 发布:汽车轮毂数据大全 编辑:程序博客网 时间:2024/04/29 22:09

主要功能
*日志实时写入ES,实现实时查询
*日志实时写入HDFS,用于日志分析
*日志异常实时预警

使用的主要组件
rsyslog、flume、kafka、hive、zookeeper、storm、presto、sqoop

本案例也是第一次尝试,基本实现了自己需要的功能,中间可能有许多不是很合理的地方。

大致架构思路如下:
这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

原创粉丝点击