kettle设置数据库连接变量、js脚本设置变量、数据流合并、设置分支等
来源:互联网 发布:wave动作数据mmd 编辑:程序博客网 时间:2024/06/05 11:11
kettle设置数据库连接变量、js脚本设置变量、数据流合并、设置分支等
关于kettle工具的介绍就不赘述了,某百科可以自行查阅。回顾自己当初刚接触这个工具的时候,网上资料虽然众多,但多数都是博客为主,很多博客都是写个【start –》查个表数据】就结束了,浪费了大量时间查找,最终不得要领。后来无奈,只能慢慢查阅“丰富”的官方文档。这篇博客没有深入的原理探讨,只是分享一些自己使用过程中用到的组件功能,希望能帮助一些入门的同学,快速定位解决自己的问题,不足之处,欢迎大家雅正!
需求说明
- 涉及两个数据库连接A和B,其中A库是用户数据,B库中是业务数据。需要查询A中所有用户在B中是否有相关业务数据,如果有,则不作处理;否则,新增。
表名称说明
- 涉及的数据表:uc_user用户主表、uc_user_organization非机构用户表、cloud_user_desktop_folder应用文件夹、cloud_user_desktop_app应用表、cloud_app_authorization应用权限表
流程图
- 总流程图
- 组件位置
- 设置数据库参数
- 子流程(处理非机构用户)
子流程说明【处理非机构用户】
创建临时表
创建临时表使用的是“执行sql脚本”组件,
直接在编辑区写sql语句就好了。表输入合并数据,筛选字段,使用js脚本处理数据流,插入/更新
从左往右,依次说明:两个表输入组件,从不同的库查询数据(直接写sql);通过合并排序组件将两个表输入的数据合并(相当于left join);然后通过switch组件筛选,不同的数据走不同的流程,通过js给数据流中的字段赋值;最后通过插入更新,将处理后的数据插入目标表中。
- 对于从A库查询出数据,作为参数,到B库中查询的情况可以利用“数据库连接”组件
大致用到的组件就这么多,每个就不单独的一一展开了,spoon中都有相关的说明,一般只要找到组件,知道功能,都比较容易上手使用。
最后,博客不常写,行文组织比较乱,还望围观大佬多包涵。
阅读全文
0 0
- kettle设置数据库连接变量、js脚本设置变量、数据流合并、设置分支等
- kettle 变量设置
- Kettle 设置变量
- kettle 设置变量
- kettle 读取表数据设置成变量
- IOS变量设置、函数设置等
- 变量设置
- kettle中变量的设置和使用介绍
- Kettle:利用设置变量(时间戳)实现数据增量更新
- kettle数据库连接使用变量
- java设置linuxshell变量执行脚本
- kettle入门(四) 之kettle取昨天时间&设置任意时间变量案例
- 为整个作业设置变量——kettle参数和变量使用
- 服务器变量和设置
- linux shell 变量设置
- 变量设置出值
- 自动设置Java变量
- 如何设置 LD_LIBRARY_PATH 变量
- Docker实战:基于centos7镜像创建可以ssh链接的Docker容器
- HTTP与HTTPS的区别
- JSONObject 的使用
- jvm系列(七):jvm调优-工具篇
- 记HTML5 <a> 标签的一个小坑
- kettle设置数据库连接变量、js脚本设置变量、数据流合并、设置分支等
- mycat2.0配置文件 datasource.yml说明
- 作业
- Linux命令分析:tar
- android studio 常用快捷键
- 众里寻他千百度 哪家单位让你再见如初?这里上市公司、股份集团任你选 | 大数据周聘汇
- 马云要让“千亿达摩院”具备盈利能力,能做到吗?
- 【案例】中国银联、光大银行基于区块链的可信电子凭证系统
- Expected one result (or null) to be returned by selectOne(), but found: 4