Pentaho PDI 数据导入关于时间格式及重复数据处理这2个问题的解决方法
来源:互联网 发布:win8.1装ubuntu双系统 编辑:程序博客网 时间:2024/06/10 13:48
最近处理数据,遇到这2个问题,思考了很久,最近突然开窍把问题解决了,记录如下:
第一个问题,如下图所示,数据生成的csv文件只有时分秒,而数据库设定的格式为年月日时分秒,因此导入数据库是提示出错,那年月日那里去了?
原来写软件的工程师把年月日作为文件名了
这样用PDI处理的话,可以用如下方式解决,整体过程如下:
1. 读取文件时,将文件名一起读入,这样的话年月日就有了,但是还是要做二次处理,用Text File Input导入数据时,在content栏下勾上 Include filename in output, 并给个栏位名:date
这样的话,文件名就作为一栏数据进来了
2. 然后用string cut,按照规则,只将对应位置信息,将36到46之间的10个字符,即年月日裁剪出来,放到date2这个栏位
3. 然后用Concat Filed将date2与对应栏位的时间合并起来
第二个问题,如下图,数据导入时发现重复
之前尝试过在数据库端设定index,通过锁定序列号加时间戳的方式来防止重复数据,但是这样做的话,在数据导入前有重复则会提示错误,无法导入,因此前端也要进行去重的处理,整体过程如下:
用到Sort Row这个组件来处理,其中勾上只输出唯一值,组合对比栏位为序列号加时间
这样过滤后,重复项在数据导入前就清除掉了
阅读全文
0 0
- Pentaho PDI 数据导入关于时间格式及重复数据处理这2个问题的解决方法
- excel导入数据的时间格式问题
- 对于数据去重的处理-PDI导入前及数据库端的双重设定
- Pentaho PDI对于错误信息的处理
- kettle(PDI)解析xml、json等格式数据的方法
- Pentaho PDI Job通过Gmail发邮件的设定
- 关于时间格式的问题
- Thinkphp PHPEXCEL导入时间格式的问题
- 关于数据的导入问题
- 关于水利普查重复数据处理问题
- 关于时间格式问题
- 关于系统时间格式的问题
- 关于时间格式转date的问题
- 关于datetimepicker时间格式的问题
- Kettle (Pentaho PDI) 4.3.0 web start
- Ubuntu Server 16.04 安装Pentaho PDI 7.1
- Pentaho PDI用Kitchen自动运行job
- 利用OleDb导入Excel数据丢失问题及解决方法
- I wanna go home
- oracle插入值太大,超过限制数的处理ORA-12899,ora-01489
- Jquery上传图片至服务器
- Windows基础排查之一
- Android设计模式-单例模式(Singleton)
- Pentaho PDI 数据导入关于时间格式及重复数据处理这2个问题的解决方法
- JUnit 中是以测试方法为一个独立的生命周期
- leetcode 234. Palindrome Linked List 回文链表的判断
- 第三章--执行计划
- BZOJ 1084 最大子矩阵 (dp)
- <1> 程序的复杂性分析
- markdown编辑器的使用
- SQL语句进阶
- ARM 中可用性集使用的注意事项