收集日志(logback)--》 kafka缓冲队列之自带组件Log4jAppender
来源:互联网 发布:手机怎么避开网络监控 编辑:程序博客网 时间:2024/05/21 14:57
Flume收集日志(logback)--》 kafka缓冲队列--》永久存储mongodb (三)
关键字:log4j、Kafka、KafkaLog4jAppender
转载地址:http://lxw1234.com/archives/2015/11/571.htm
很多应用程序使用Log4j记录日志,如何使用Kafka实时的收集与存储这些Log4j产生的日志呢?一种方案是使用其他组件(比如Flume,或者自己开发程序)实时监控这些日志文件,然后发送至Kafka。而另外一种比较便捷的方案是使用Kafka自带的Log4jAppender,在Log4j配置文件中进行相应的配置,即可完成将Log4j产生的日志实时发送至Kafka中。
本文以Kafka0.8.2为例,介绍KafkaLog4jAppender的配置方法:
log4j.properties文件内容如下:
注意:KAFKA appender的配置参数,和Kafka版本有关,具体参数可参考kafka.producer. KafkaLog4jAppender中的定义。
一个使用了Log4j记录日志的Java Application Demo:
先启动Kafka自带的consumer模拟脚本,消费Topic lxw1234的消息:
再运行上面的Java Demo程序,控制台打印的内容:
在Consumer控制台打印消费的消息:
如图所示,KafkaLog4jAppender已经将消息正常发送至Kafka。
您可以关注 lxw的大数据田地 ,或者 加入邮件列表 ,随时接收博客更新的通知邮件。
如果觉得本博客对您有帮助,请 赞助作者 。
转载请注明:lxw的大数据田地 » 使用Log4j将程序日志实时写入Kafka
(3)个小伙伴在吐槽
- log4j.appender.kafka.syncSend=true 这个比较担心 ,加入kafka 挂掉,同步发送失败,业务进程会不会崩溃? false 选项表示嘛意思?有没有比如1M的缓冲队列,发送不成功的就丢弃?
- 使用 KafkaLog4jAppender 不需要引入额外的包吗?
- 查了下,应该要引入一下依赖 org.apache.kafka hadoop-producer 0.8.0
阅读全文
0 0
- 收集日志(logback)--》 kafka缓冲队列之自带组件Log4jAppender
- Flume收集日志(logback)--》 kafka缓冲队列--》永久存储mongodb (二)
- Flume收集日志(logback)--》 kafka缓冲队列--》永久存储mongodb (一)
- Flume之Log4JAppender接收Log4j日志
- 日志收集之rsyslog to kafka
- 日志组件logback
- logback连接kafka正常日志
- ELK+kafka+logback日志采集
- 开源日志组件logback
- logback日志组件的使用
- logback日志组件使用案例
- 日志组件logback使用详解
- 系统配置之logback日志
- 日志框架之LogBack
- 日志收集之--将Kafka数据导入elasticsearch
- 利用C#自带组件强壮程序日志
- 利用C#自带组件强壮程序日志
- 利用C#自带组件强壮程序日志
- UVa 11838
- Ubuntu安装opencv(未完成)
- 代码封装
- 树莓派3B+ 迅雷远程下载机
- SAP-MM-PA精解分析系列之采购(02)-询报价
- 收集日志(logback)--》 kafka缓冲队列之自带组件Log4jAppender
- TCP/IP协议
- 在MyEclipse中如何启动断言开关
- socket
- 就是接地气!"互联网刷新未来"创新创业峰会等你来!【火热抢票中】
- 58集团品牌升级 定义生活服务新生态
- FLYPRO飞豹携XEagle无人机 亮相2016全球最大无人机展AUVSI XPONENTIAL
- 细菌也能制造量子点,敢情又要换电视了?
- 把最美献给母亲节 OPPO R9记录世界微笑日