日志收集(for 分析错误/做统计):
来源:互联网 发布:淘宝买家信誉如何提升 编辑:程序博客网 时间:2024/05/22 06:58
日志收集(for 分析错误/做统计):
logback(错误日志/格式化日志) + flume(agent) + kafka(集群+外挂zk) + es(集群)
[流程中每个节点自测]
测试flume经验总结:
测试flume,需要把flume日志级别调整为debug,即启动时,加上:Dflume.root.logger=DEBUG,console
测试flume的source有没有读取日志文件,可以查看TaildirSource设置的positionFile的文件是否生成,内容是否在变化;
cat 要收集的文件名 | wc -c :计算文本的字符总数
当收集结束后,看看positionFile的pos是不是上面得出的字符总数,如果是表示收集完成;
测试flume sink到kafka是否成功,先测试flume的sink到logger是否成功,这个时候,先把kafka的sink注释,调整
为agent1.sinks.s11.type=logger;看看flume的运行日志;
测试kafka的topic:test是否正常:
kafka-console-producer.sh –broker-list kafkaip1:9092,kafkaip2:9092 –topic test 发消息
kafka-console-consumer.sh –zookeeper zkip1:2181,zkip2:2181 –from-beginning –topic test 看看能不能收到消息
流程联调测试:
flume收集日志后,能否sink到kafka:
flume收集时,注意监控kafka-console-consumer.sh –zookeeper zkip1:2181,zkip2:2181 –from-beginning –topic test 能否看到消息;
- 日志收集(for 分析错误/做统计):
- iOS错误日志收集及分析
- iOS分析崩溃日志 dYSM,友盟统计错误分析
- 错误日志收集
- Android 日志错误收集
- 日志收集分析
- logrotate 做日志收集处理
- 安卓错误日志收集
- Android自定义错误日志收集
- Sentry--错误日志收集框架
- Spark做日志分析
- linux日志统计文件命令收集
- scribe - 日志收集器 分析
- scribe - 日志收集器 分析
- 日志收集分析系统架构
- 错误收集(本地Log日志)错误上传
- 数据收集---web访问日志收集与统计
- 数据收集---web访问日志收集与统计
- 认真之下,进步就会很快
- java string 首字母大写方法
- IntelliJ IDEA的使用教程
- springmvc 上传文件两种方式比较以及上传问题解决
- MDI父窗体中的子窗体最大化后消除子窗体在父窗体菜单栏中的图标
- 日志收集(for 分析错误/做统计):
- 107. Binary Tree Level Order Traversal II
- es中的Field Mapping的index选项的介绍:
- 什么叫IP C段?
- MFC2
- httpclient?
- 【ARM-Linux开发】【Qt开发】Qt Creator自定义编译运行步骤
- flume的TaildirSource生成的positionFile文件内容说明
- 构造方法的”和用private修饰的权限