logstash通过codec将完整的数据发送到kafka
来源:互联网 发布:陕西省中小学网络竞赛 编辑:程序博客网 时间:2024/05/17 06:11
业务需求,通过logstash解析日志后,需要发送一个份到kafka中。但在实际操作的时候发现一个很蛋疼的问题。就是logstash发送到kafka的数据竟然只是一个message。。对就是一个大括号包裹的message,其他什么都没有。。网上到处搜都没搜索相关问题,然后取官网看了看,发现一个codec插件很强大,用了一下果然能行。具体代码如下
kafka { codec => json bootstrap_servers => "xxxx:9092" topic_id => "tomcat-log" codec => plain { format => "%{message}" } }
阅读全文
0 0
- logstash通过codec将完整的数据发送到kafka
- logstash将采取kafka的数据到elasticSearch配置
- 使用logstash将kafka数据入到elasticsearch
- linux集成 kafka数据通过flume发送到hadoop
- Logstash学习3_通过Kafka传输数据给logstash-1.4和logstash-1.5
- Kafka与Logstash的数据采集
- HttpServer发送数据到kafka
- Kafka与Logstash的数据采集对接 —— 看图说话,从运行机制到部署
- Kafka与Logstash的数据采集对接 —— 看图说话,从运行机制到部署
- 通过RTMP协议将AAC数据发送到流媒体服务器
- log4j2通过tcp发送json日志到logstash Elasticsearch
- 使用logstash的logstash-input-kafka插件读取kafka中的数据
- Logstash 2.2采集数据发送到ES 2.2上
- Kafka与logstash数据交互
- logstash读取kafka数据插件
- 将表单序列化之后变成的json格式的数据无法通过Ajax发送到后台的解决
- logstash Codec
- Spark+Kafka的Direct方式将偏移量发送到Zookeeper的实现
- UG6.0 7.0基础+曲面+逆向+钣金+数控+模具设计全集
- HBase 常用Shell命令
- sdnu 1038 收集宝藏(动态分析)
- git 配置本地钩子和服务器端钩子
- MySql 缓存使用的Bug 分析(EOF包被OK包替换引起的)
- logstash通过codec将完整的数据发送到kafka
- 深入理解Java中的final关键字
- java中反射的作用及用法
- 15届走美杯真题及答案汇总
- 我的微信公众号开发学习整理
- 版本一致问题
- UVa 11300 找金币
- selenium+python实现1688登录 —— iframe中元素获取
- CDH Upgrade 5.10.0-->5.11.0