day22 kafka 的集成
来源:互联网 发布:自选股软件下载 编辑:程序博客网 时间:2024/06/05 21:15
大数据day22
日志监控告警系统
定义: 基于的日志进行监控,监控需要一定的规则,对触发监控的规则的日志信息进行告警,告警的方式,是短信和邮件。
什么是规则:
应用程序日志信息捕获
应用程序日志信息捕获:log4j---->error,info,debug 应用程序程序的日志 error级别 TimeOutException 角标越界IndexXXXException ......Error
业务日志信息捕获:当订单量触发一千万时,告警通知,让大家庆祝下。OrdertotalNum:1000万
规则的判定:
对一条一条输入的日志信息,进行字符串比较
String.contains.(" taskList ") String.equals.(" taskList ") String.match.(" 正则表达式 ")
触发规则后:
告警,发短信,发邮件。
数据分析的步骤:
1.明确分析的目标
2.根据目标收集数据
3.对数据进行清洗和标准化
4.使用工具对数据进行计算
5.展示分析的结果,给业务人员进行抉择。
数据处理流程: flume+kafka+storm+redis
1.先有一个系统(订单系统),对系统的日志进行采集,通过哦日志采集插件(flume)进行数据采集。
2.通过flume 采集的数据存放到kafka 中,flume2kafka
3.Storm 消费kafka的数据, kafka2storm
4. Storm 操作redis 保存结果 storm2redis
Storm 程序如何编写:
1.kafkaSpout 获取kafka 集群中的某个topic 信息
2.FilterBolt对一行一行的日志进行过滤规则校验
3.NotifyBolt 触发规则之后,发短信,发邮件
4.Save2MysqlBolt管理平台的数据展示
2.架构图
实时架构系统架构图
当前worker中的线程安全问题
相关的工具:
http://blog.csdn.net/github_25679381/article/details/51497789
上传附件:
- day22 kafka 的集成
- storm-kafka 的集成
- kafka与Spring的集成
- kafka与Spring的集成
- kafka与Spring的集成
- day22
- day22
- day22
- DAY22
- Day22
- day22
- [Apache Kafka]Kafka集成
- Spring注解方式集成Kafka(spring-kafka的使用)
- storm笔记 -- 与kafka的集成
- flume-ng和kafka集成的配置
- 使用spring集成的kafka收发消息
- Storm集成Kafka应用的开发
- storm 集成kafka时遇见的问题
- Using astyle to format code
- PAT 基于词频的文件相似度 (set) -- 解题报告
- C语言文件处理
- swing 设置控件居中与设置文字格式
- Hibernate (八)一对一 (外键关联方式)
- day22 kafka 的集成
- java反射
- QC12864b LCD12864串行 PSB接线问题
- 虚机热迁移
- java推荐书籍
- 杭电 2029 Palindromes _easy version 回文串
- Autodesk Forge 学习简谈
- argparse模块
- 正则化方法:L1和L2 regularization、数据集扩增、dropout