logstash如何将kakfa合并的数据拆分然后写入ES
来源:互联网 发布:1e-6在c语言中意思 编辑:程序博客网 时间:2024/06/02 13:12
kafka数据:{
{"cluster":"qy_api_v2_pool","body_bytes_sent":"8579","http_versioncode":"Android_32"}\n
{"cluster":"qy_api_v2_pool","body_bytes_sent":"8579","http_versioncode":"Android_33"}\n
{"cluster":"qy_api_v2_pool","body_bytes_sent":"8579","http_versioncode":"Android_34"}\n
....
}
还有一个小问题split中terminator默认是\n,但是我如下写法为什么切割不成功呢,不写terminator是可以的
filter {
split {
field => "message"
terminator => "\\n"
}
{"cluster":"qy_api_v2_pool","body_bytes_sent":"8579","http_versioncode":"Android_32"}\n
{"cluster":"qy_api_v2_pool","body_bytes_sent":"8579","http_versioncode":"Android_33"}\n
{"cluster":"qy_api_v2_pool","body_bytes_sent":"8579","http_versioncode":"Android_34"}\n
....
}
kafka团队因考虑性能问题,将原始日志多条合并一条发送(每一条用换行符分割),这样我读的kafka就必须拆成一条一条的写入到ES,不然数据就不准确了,请问这种需求该如何处理呢?
已解决,开始走了弯路,用的下列方法导致还在一条数据
filter {
mutate {
split=>["message","
"]
}
正解方案
filter {
split {
field => "message"
}
还有一个小问题split中terminator默认是\n,但是我如下写法为什么切割不成功呢,不写terminator是可以的
filter {
split {
field => "message"
terminator => "\\n"
}
阅读全文
0 0
- logstash如何将kakfa合并的数据拆分然后写入ES
- 如何将数据依次写入合并单元格区域
- 利用hive将数据写入es
- SQL拆分指定的数据,在将修改拆分的字符串,最后在合并字符串
- 如何快速地拆分合并的单元格并填充数据
- 将DataGrid数据写入Excel文件,然后下载
- 利用logstash-output-jdbc从mysql导入数据到es中,如何构建多级节点的JSON
- logstash 从数据库获取数据到将数据导入到es步骤
- hive 数据写入es
- 如何将jTABLE的数据写入EXCEL中
- php怎么将数据写入指定url的txt中,然后并返回保存地址提供下载?
- logstash 向elasticsearch写入数据,如何指定多个数据template
- 如何:将类数据写入 XML 文件
- 如何将数据写入request参数中
- 查看logstash 导入数据到es中,数据导入的数量
- 如何将pictureBox里的图片保存到数据库,然后从数据读取显示
- logstash将采取kafka的数据到elasticSearch配置
- logstash通过codec将完整的数据发送到kafka
- Jquery DataTables 列 columns 和 columnDefs基本使用
- 数据结构实验之队列一:排队买饭(队列)
- 排序算法总结之堆排序
- __declspec(dllexport) 与 __declspec(dllimport)
- 强大的矩阵奇异值分解(SVD)及其应用
- logstash如何将kakfa合并的数据拆分然后写入ES
- [编程题] DNA片段
- C#个人重构之异常处理——天下之事常成于困约,而败于奢靡!
- Tensorflow框架下Faster-RCNN实践(二)——用自己制作的数据训练Faster-RCNN网络(附代码)
- 饭费计算器
- 1024. 科学计数法 (20)
- Yolo-Darknet的安装和使用
- Git中文件分类
- Android 设定横屏,禁止屏幕旋转,Activity重置 [更新视频播放器相关]