万能日志数据收集器 Fluentd
来源:互联网 发布:java和安卓哪个好 编辑:程序博客网 时间:2024/06/06 01:21
前面的 ELK 中我们是用 Filebeat 收集 Docker 容器的日志,利用的是 Docker 默认的 logging driver json-file
,本节我们将使用 fluentd
来收集容器的日志。
Fluentd 是一个开源的数据收集器,它目前有超过 500 种的 plugin,可以连接各种数据源和数据输出组件。在接下来的实践中,Fluentd 会负责收集容器日志,然后发送给 Elasticsearch。日志处理流程如下:
这里我们用 Filebeat 将 Fluentd 收集到的日志转发给 Elasticsearch。这当然不是唯一的方案,Fluentd 有一个 plugin fluent-plugin-elasticsearch
可以直接将日志发送给 Elasticsearch。条条道路通罗马,开源世界给予了我们多种可能性,可以根据需要选择合适的方案。
安装 Fluentd
同样的,最高效的实践方式是运行一个 fluentd 容器。
docker run -d -p 24224:24224 -p 24224:24224/udp -v /data:/fluentd/log fluent/fluentd
fluentd 会在 TCP/UDP 端口 24224 上接收日志数据,日志将保存在 Host 的 /data
目录中。
重新配置 Filebeat
编辑 Filebeat 的配置文件 /etc/filebeat/filebeat.yml
,将 /data
添加到监控路径中。
重启 Filebeat。
systemctl restart filebeat.service
监控容器日志
启动测试容器。
docker run -d \
--log-driver=fluentd \
--log-opt fluentd-address=localhost:24224 \
--log-opt tag="log-test-container-A" \
busybox sh -c 'while true; do echo "This is a log message from container A"; sleep 10; done;'
docker run -d \
--log-driver=fluentd \
--log-opt fluentd-address=localhost:24224 \
--log-opt tag="log-test-container-B" \
busybox sh -c 'while true; do echo "This is a log message from container B"; sleep 10; done;'
--log-driver=fluentd
告诉 Docker 使用 Fluentd 的 logging driver。
--log-opt fluentd-address=localhost:24224
将容器日志发送到 Fluentd 的数据接收端口。
--log-opt tag="log-test-container-A"
和 --log-opt tag="log-test-container-B"
在日志中添加一个可选的 tag,用于区分不同的容器。
容器启动后,Kibana 很快就能够查询到容器的日志。
Fluentd 咱们就讨论到这里,下一节开始学习 Graylog。
书籍:
1.《每天5分钟玩转Docker容器技术》
https://item.jd.com/16936307278.html
2.《每天5分钟玩转OpenStack》
https://item.jd.com/12086376.html
- 万能日志数据收集器 Fluentd
- 日志收集工具之Fluentd
- 通过fluentd收集docker日志
- hadoop日志收集解决方案--fluentd配置文件
- docker容器日志的收集---fluentd
- Fluentd (td-agent) 日志收集系统
- Fluentd+Hadoop结合进行日志收集、分析
- 使用Fluentd + MongoDB构建实时日志收集系统
- 使用Fluentd + MongoDB构建实时日志收集系统
- 使用Fluentd + MongoDB构建实时日志收集系统
- 开源日志收集软件fluentd 转发(forward)架构配置
- 用Fluentd实现收集日志到HDFS(上)
- 用Fluentd实现收集日志到HDFS(下)
- fluentd收集mapreduce分布式环境下的用户日志
- Elasticsearch+Fluentd+Kibana的日志收集分析系统
- kubernetes上部署Fluentd+Elasticsearch+kibana日志收集系统
- 使用开源工具fluentd-pilot收集容器日志
- docker日志发往fluentd
- MyEclipse与Tomcat里面的项目classes文件不同步
- 大数据架构开发 挖掘分析 Hadoop HBase Hive Flume ZooKeeper Storm Kafka Redis MongoDB Scala Spark 机器学习 Docker 虚拟化
- bzoj 3192: [JLOI2013]删除物品 树状数组
- 【转】内网福音-如何离线部署Rancher
- 【51Nod1055】最长等差数列
- 万能日志数据收集器 Fluentd
- day 17 vim介绍
- 二叉排序树的创建、插入和遍历(代码)
- OpenCV中的Mat函数
- python学习—Day17—类的重写,私有变量
- python学习笔记(二)
- 数据库多数据源配置
- Shuffle解密
- 11.7KNN