利用logstash-output-jdbc从mysql导入数据到es中,如何构建多级节点的JSON
来源:互联网 发布:北京华宇软件 编辑:程序博客网 时间:2024/06/04 18:30
需求场景:
1: 利用logstash-output-jdbc从mysql导入数据到es(elasticsearch版本5.4.1)中,如何构建构建一对一多级节点的JSON. 如产品表,需要关联产品品牌,产品供应商。
解决方法:
filter {
if [type] == "product"{
mutate {
add_field => {
"[provider][id]" => "%{provider_id}"
"[provider][code]" => "%{provider_code}"
"[provider][name]" => "%{provider_name}"
}
add_field => {
"[brand][id]" => "%{brand_id}"
"[brand][name]" => "%{brand_name}"
}
remove_field => [ "provider_id", "provider_code","provider_name"]
remove_field => [ "brand_id","brand_name"]
}
}
}
2: 构建一对多级节点的JSON. 如产品品牌,对应多个产品。
解决方法:
filter {if [type] == "product1"{
aggregate {
task_id => "%{brand_id}"
code => "
map['brandId'] = event.get('brand_id')#品牌ID
map['brandName'] = event.get('brand_name')#品牌名称
map['products'] ||= []
map['products'] << {
'id' => event.get('id'),
'code' => event.get('code'),#产品编码
'name' => event.get('name'),#产品名称
}
event.cancel()
"
push_previous_map_as_event => true
}
}
}
阅读全文
0 0
- 利用logstash-output-jdbc从mysql导入数据到es中,如何构建多级节点的JSON
- 利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍
- 利用logstash的logstash-input-jdbc插件实现mysql增量导入ES的介绍
- 利用Logstash的logstash-input-jdbc插件实现mysql增量导入ES
- 查看logstash 导入数据到es中,数据导入的数量
- logstash 从数据库获取数据到将数据导入到es步骤
- SpringBoot -- ES从mysql中获取数据/Elasticsearch-jdbc
- logstash-output-mongodb实现Mysql到Mongodb数据同步
- logstash将不规则的分隔符文本导入到es中
- ElasticSearch5+logstash的logstash-input-jdbc实现mysql数据同步
- ElasticSearch5+logstash的logstash-input-jdbc实现mysql数据同步
- 利用JDBC连接取数据并导入到EXCEL中
- 如何把Access的数据导入到Mysql中
- MySql的数据如何导入到Sql Server数据库中?
- logstash jdbc同步mysql多表数据到elasticsearch
- Elasticsearch系列(九)----使用Logstash-input-jdbc同步数据库中的数据到ES
- Logstash 导入数据到Elasticsearch
- 利用poi从excel中导入数据到数据库
- CentOS6 mininial 安装KVM 详细教程
- acquia dev desktop开发第一天
- NYOJ 613免费馅饼 动态规划解法
- string中c_str()、data()、copy(p,n)函数的用法
- 三.python面试题 类的三种方法
- 利用logstash-output-jdbc从mysql导入数据到es中,如何构建多级节点的JSON
- 从网易与淘宝的font-size思考前端设计稿与工作流
- Android编程之SparseArray<E>详解
- React Native 触摸事件处理详解
- 【JavaSE笔记】面向对象(一)_面向对象入门
- iOS--正则表达式--略可借鉴。
- C语言题(1)
- vscsharp调试cpp
- debian9中文办公环境字体设置