将Rsyslog的日志输出到Kafka消息队列
来源:互联网 发布:大尺度网络电影 编辑:程序博客网 时间:2024/04/27 18:02
http://www.biglog.org/rsyslog-output-kafka/
Rsyslog8.x版本最大的新特性是:可以支持将日志输出到Kafka。
不过Rsyslog默认是没有开启该模块的,如果想使用就需要在安装Rsyslog时编译进去。源码编译安装Rsyslog的过程是非常麻烦的,需要解决很多依赖问题。
这里不再介绍源码安装的过程了,详情请参照官方文档:http://www.rsyslog.com/doc/install.html。
我们提供另一种思路: 添加Rsyslog官网的repo源,使用yum安装Rsyslog8.x,然后将事先编译的kafka模块文件copy到对应的路径下。
具体操作(Centos环境下):
1、添加repo源,yum安装Rsyslog8.x
wget -O /etc/yum.repos.d/rsyslog.repo http://rpms.adiscon.com/v8-stable/rsyslog.repo
yum install rsyslog -y
yum install rsyslog -y
2、复制kafka模块文件(omkafka.so和librdkafka.so.1)到系统的lib路径下
wget -O /lib64/rsyslog/omkafka.so http://update.biglog.org/cep/centos/omkafka.so
wget -O /lib64/librdkafka.so.1 http://update.biglog.org/cep/centos/librdkafka.so.1
chmod +x /lib64/rsyslog/omkafka.so /lib64/librdkafka.so.1
wget -O /lib64/librdkafka.so.1 http://update.biglog.org/cep/centos/librdkafka.so.1
chmod +x /lib64/rsyslog/omkafka.so /lib64/librdkafka.so.1
完成以上步骤后,启动rsyslog,就可以通过查看系统日志(/var/log/message)验证kafka模块是否生效。
0 0
- 将Rsyslog的日志输出到Kafka消息队列
- 使用srcrpm包重新编译bash使之能够输出日志到rsyslog的local1
- 使用deb-src包重新编译bash使之能够输出日志到rsyslog的local1
- kafka消息队列的安装
- rsyslog 日志格式和输出
- log4j2配置输出日志到Kafka
- 日志收集之rsyslog to kafka
- haproxy打印日志到rsyslog
- 消息队列kafka的学习与使用
- kafka和其他消息队列的对比
- Kafka 与消息队列的快速比较
- 将Control的日志输出到同一个文件
- 将tomcat运行时的日志输出到指定文件
- 将ant执行的日志输出到文本中
- 将log4j的日志配置输出到mysql中
- 将java log4j的日志配置输出到mysql中
- 将控制台的日志输出到外部文件
- Spring Framework 将日志输出到slf4j的方法
- Base64
- arguments实参集合与局部变量,参数关系
- Ubuntu Linux中开启MySQL远程访问功能
- Android 模拟圆形水杯倒水的效果
- poj3669
- 将Rsyslog的日志输出到Kafka消息队列
- BZOJ 1452 [JSOI2009]Count 二维树状数组
- poj3126
- Android开发使用LogCat,LogCat常见问题
- linux的3个查找命令
- 于庆玲2014134029
- uva 10163 - Storage Keeperst
- 数据库增删改查
- tiny xml解析