使用nifi将数据库数据上传到Elasticsearch
来源:互联网 发布:阿里云 香港 速度 编辑:程序博客网 时间:2024/06/05 02:09
首先将数据库数据导出CSV文件,再将CSV文件转换成json格式文件
CSV在线转json地址:CSV在线转json
使用kibana在Elasticsearch中建立一个新的index
POST /company_basic/info/_mapping?pretty 其中company_basic为index名,info为type名。
在nifi中建立如下组件
其中GetFile配置如下
splitjson用于获取每一个json
Elasticsearch5的配置如下
其中踩雷的地方就是identifier Attribute 一开始写的是filename,因为上文提到过,就是随机找了一个key,但再次,行不通,因为3000条数据放进去之后只有一条数据。于是重新将split json 连到logAttribute
发现fragment.index为2999故猜测fragment.index应为0—2999可以唯一标识每一个json段。
程序成功跑通,在kibana可视化页面可以成功看到3000条数据。但发现中文乱码,目前正在尝试解决,望有大神提点一二。
阅读全文
0 0
- 使用nifi将数据库数据上传到Elasticsearch
- 使用协处理器将HBase数据索引到Elasticsearch集群
- 使用logstash将kafka数据入到elasticsearch
- 上传Excel并将指定数据导入到数据库
- 将Mysql数据导入到ElasticSearch集群
- 将Mysql数据导入到ElasticSearch集群
- 将Excel上传到服务器,读取Excel数据写入到数据库
- 将excel的数据上传到sap系统上,更新到数据库表中
- 上传到redis数据库数据
- 使用 Bulk Copy 将大量数据复制到数据库
- 使用 Bulk Copy 将大量数据复制到数据库
- 使用 Bulk Copy 将大量数据复制到数据库
- 使用opi将数据库数据导出到Excel
- Elasticsearch系列(九)----使用Logstash-input-jdbc同步数据库中的数据到ES
- elasticsearch-jdbc 使用数据库数据创建索引
- 轻松实现将上传图片到数据库
- 轻松实现将上传图片到数据库
- 将TXT文件上传到数据库
- pat甲级 1021. Deepest Root(bfs求连通分量)
- Python笔记7——面向对象、类、实例
- Java-Scanner类
- java分布式系统部署学习(一)ansible体验
- jQuery基础二-(DOM篇)
- 使用nifi将数据库数据上传到Elasticsearch
- 《赢》读书摘要03
- Php-mysql的触发器(V客学院知识分享)
- 【知识整理】安卓(Android)应用上传360应用市场步骤详解
- 爬虫学习01 响应状态码 status code
- java两个时间段之间取每个年月
- Unknown default host [localhost] for connector [Connector[HTTP/1.1-8080]]
- 关于json格式存储数据库成bean对象list,取出来再次转换成json格式
- Group Replication测试报告