nifi探索之JSON文件写入数据库
来源:互联网 发布:get是什么意思网络上的 编辑:程序博客网 时间:2024/06/06 02:37
Abstract
本文的主要目的是将一个JSON格式的文件写入到数据库中
整体流程
包含三个Processor:
GetFile:读取json格式的文件
ConvertJSONToSQL:将json中的元素转化为sql中的insert语句
PutSQL:执行上一个processor生成的sql语句,将json中的元素插入到数据库中
详细配置
- GetFile处理器:此处理器的配置已经在上一篇文章中进行了介绍,这里将省略此部分内容,输入的文件为包含一个json元素的文件:
ConvertJSONToSQL处理器:(注意:该处理器有一个特性,只能处理flat json,所谓flat是指it consists of a single JSON element and each field maps to a simple type)
其中的参数:
JDBC Connection Pool:根据要连接的数据库类型选择,我要连接的是mysql数据库,因此选择DBCPConnectionPool
Statement Type:设置要执行的操作,INSERT和UPDATE等,这里要执行的是插入操作
Translate Field Name: 如果json中元素的属性名称与数据表中的列名称一致,则选择false,否则选择trueJDBC Connection Pool的属性后面有一个小箭头,点击箭头对此项进行设置:
实际上这个java连接数据的设置是一致的,
Database Driver Class Name: 根据要连接的数据库类型选择
Database Driver location:选择对应数据库连接jar包的完整路径
Database User:登录数据库的用户名
Password:用户名对应的密码PutSQL处理器:这里只设定了 JDBC Connection Pool
对应数据库表的结构:
至此已经完成了将一条json数据插入到数据库中
目前只能插入单条的json记录,接下来将探索如何将包含多条记录的json文件写入到数据库中
- nifi探索之JSON文件写入数据库
- nifi探索之写入数据库
- nifi探索之SplitText
- nifi 探索之文本格式转换 csv->json
- NIFI -- 文件数据写入hive
- nifi探索之处理器简介
- nifi探索之ExecuteScript处理器
- nifi探索之处理器简介(2)
- nifi探索之ExecuteScript处理器(2)
- android 写入JSON文件
- scrapy 写入json文件
- Nifi读取Hive中数据然后再写入新Hive数据库表操作
- Android小技巧之json格式字符串写入csv文件
- 写入json数据到文件
- 把json文件写入本地
- Json序列化 - JSON写入文件
- 探索ORACLE之RMAN_07 数据库所有文件全部丢失恢复
- springmvc之Excel文件上传并写入数据库
- STM8内部EEPROM的使用
- 查看端口占用及关闭
- centos 7 安装mysql
- 进程与线程-1、进程状态+PCB
- javascript删除字符串最后一个字符
- nifi探索之JSON文件写入数据库
- 51Nod 1284 2 3 5 7的倍数
- 软件工程师
- 关于FTP远程和服务器通信建立连接、增加、删除、下载、预览图片功能
- C++文件操作——按行读取txt文本文件
- ES6神奇的import...from...命令
- android创建目录不成功
- multiset
- PAT-AL 1013. Battle Over Cities