nifi探索之写入数据库
来源:互联网 发布:通话录音软件 免费 编辑:程序博客网 时间:2024/06/05 08:37
Abstract:
本文章将展示如何将一个包含多条数据的文本文件保存到数据库中,每条数据对应数据库中的一条记录
整体流程
下面将依次详细说明每个核心processor的配置以及完成的功能
- GetFile:读取文本文件中的内容,这个文件是http://files.grouplens.org/datasets/movielens/ml-10m-README.html中movies.dat ,大体内容长着个样子O(∩_∩)O
每一行为一条记录,包含三个部分,并用双分号分割 - ExecuteScript就是一个执行特定脚本文件的处理器,脚本内容在Script body中指定,同时可以指定脚本的语言。我选用的是groovy编写的脚本,跟java非常类似,并且支持java的语法
因为输入文件的格式不符合CSV json等格式,因此我们需要对其进行格式转换,将每一行的内容通过”::”分割,然后采用”;”进行拼接(或者直接将”::”替换为”;”),也就是转换为csv格式。同时对可以自定义csv表头
import org.apache.commons.io.IOUtilsimport org.apache.nifi.processor.io.StreamCallbackimport java.nio.charset.*def flowFile = session.get()if (!flowFile) returnflowFile = session.write(flowFile, { inputStream, outputStream -> def stringBuilder = new StringBuilder()// 添加csv表头 stringBuilder.append("id;director;type\n") def tellTaleHeart = IOUtils.toString(inputStream, StandardCharsets.UTF_8) def words = tellTaleHeart.split("::|\\n") def length=words.length def count=0 for(int i=0;i<length;i++){ String word= words[i] if(word!=null&&word.length()>0){ stringBuilder.append(word) count=count+1 if(count!=0&&count%3==0) stringBuilder.append("\n") else stringBuilder.append(";") } }outputStream.write(stringBuilder.toString().getBytes(StandardCharsets.UTF_8))} as StreamCallback)flowFile = session.putAttribute(flowFile, 'filename', 'movies')session.transfer(flowFile, REL_SUCCESS)
- AddSchemaNameAttribute:对处理的flowfile添加一个属性
直接点击右上角的+号,添加schema.name这个属性,并把value设置为movies - convertRecord:将处理后的用”;”分割的数据转化为json格式
Record Reader:CSVReader(根据所要读入数据的格式进行设定)
点击右侧的箭头,对CSVReader的属性进行设定
主要涉及到一下两个属性:
1.Schema Access Strategy: 在之前的一个处理器中我们给flowfile添加了schema属性,因此选择Use Schema Name Property- Schema Registry:选择 AvroSchemaRegistry,并点击右侧的箭头进行配置:
这里property跟之前添加的schema.name相同,对于value需要根据输入数据的属性进行设置
例如我们之前的输入数据,每一行包含三个部分,我们分别命名为id,director,filmType
- Schema Registry:选择 AvroSchemaRegistry,并点击右侧的箭头进行配置:
{ "type":"record", "name":"MovieRecord", "fields":[ {"name":"id","type":"long"}, {"name":"director","type":["null","string"]}, {"name":"filmType","type":["null","string"]} ]}
- Value Separator:这里选择的是”;”
Record Writer:JsonRecordSetWriter(根据处理后的数据格式设定)
设置方法跟CSVReader类似- SplitJson:将json进行拆分。现在得到的是一个大的Json记录,现在需要将每一条记录单独封装为一个flowfile,并insert到数据库中
JsonPath Expression: 这个需要根据当前flowfile内容中的格式进行设定
我们当前输入数据的格式如下,因此我们的JsonPath Expression为$.*
- SplitJson:将json进行拆分。现在得到的是一个大的Json记录,现在需要将每一条记录单独封装为一个flowfile,并insert到数据库中
[{"id":115,"director":"Happiness Is in the Field (Bonheur est dans le pr茅, Le) (1995)","filmType":"Comedy"},{"id":116,"director":"Anne Frank Remembered (1995)","filmType":"Documentary"},{"id":117,"director":"Young Poisoner's Handbook, The (1995)","filmType":"Crime|Drama"},{"id":118,"director":"If Lucy Fell (1996)","filmType":"Comedy|Romance"},{"id":119,"director":"Steal Big, Steal Little (1995)","filmType":"Comedy"},{"id":120,"director":"Race the Sun (1996)","filmType":"Drama"},{"id":121,"director":"Boys of St. Vincent, The (1992)","filmType":"Drama"},....]
- ConvertToCSV(抱歉,实际上这个是ConvertJsonToSQL 处理器)
这部分之前涉及过,可以参考上一篇博客 - PutSQL:执行生成的sql语句,也就是执行sql语句将数据插入到数据库中
阅读全文
1 0
- nifi探索之写入数据库
- nifi探索之JSON文件写入数据库
- nifi探索之SplitText
- nifi探索之处理器简介
- nifi探索之ExecuteScript处理器
- nifi探索之处理器简介(2)
- nifi探索之ExecuteScript处理器(2)
- nifi 探索之文本格式转换 csv->json
- NIFI -- 文件数据写入hive
- Nifi读取Hive中数据然后再写入新Hive数据库表操作
- Nifi
- MySQL探索之数据库概述
- Scrapy入门教程之写入数据库
- NiFi开发教程之--RouteOnAttribute(路由属性)
- 数据库探索之旅——数据类型
- PHP进阶学习之session写入数据库
- php之将用户信息写入数据库
- nifi制作从ftp下载csv导入数据库的template
- aop动态代理
- [NOI 2004] 郁闷的出纳员
- 用 composer 造轮子
- 安卓 短视频推送 与小屏播放
- 如何求一棵二叉树的深度
- nifi探索之写入数据库
- Fast Image Processing with Fully-Convolutional Networks
- 热更新 深度解析
- A-Frame使用方法 教程 API
- promise模拟获取100个月饼
- Netty之writeAndFlush()流程
- Java POI 导出EXCEL 实现 Java导出Excel
- 2017便利蜂前端一面
- 【学习摘记】马士兵JDBC技术_课时10_JDBC处理PreparedStatement