使用Kettle连接动态分库
来源:互联网 发布:英格拉姆体测数据 编辑:程序博客网 时间:2024/05/17 18:48
一、问题提出
在一个数据仓库应用中,每天新建一个MySQL数据库,以当天日期命名,如d_p20161201、d_p20161202等,并使用Kettle连接这些数据库做数据清洗和ETL工作。由于数据库是用脚本每天动态生成的,Kettle如何连接动态分库呢?
二、解决方案
1. 建立数据库连接,在数据库名称中引入变量。此时是无法连接到数据库的。
2. 建立转换,用JavaScript步骤设置上一步引用的变量,作为数据库名称中的日期部分。
3. 建立作业,在开始后首先调用上一步建立的转换,后续的转换或作业即可正常使用第1步建立的数据库连接。
三、验证步骤
1. 建立测试数据库表。
5. 编辑set_dbname转换如下:
四、总结
本实验在以下两点进行了尝试:
1. 使用JavaScript步骤给变量赋值,这种在Kettle中编程的方式,能够实现非常复杂的应用逻辑。
2. 数据库连接可以在运行时动态引用变量,这给实现统一的ETL调度提供了一种可能性。
先设置变量并赋值,然后在后面的步骤或作业项中使用变量,这是一种通用的方法。通过在Kettle中进行程序设计,大大增强了Kettle的功能。
参考:http://stackoverflow.com/questions/23491072/pass-db-connection-parameters-to-a-kettle-a-k-a-pdi-table-input-step-dynamically
在一个数据仓库应用中,每天新建一个MySQL数据库,以当天日期命名,如d_p20161201、d_p20161202等,并使用Kettle连接这些数据库做数据清洗和ETL工作。由于数据库是用脚本每天动态生成的,Kettle如何连接动态分库呢?
二、解决方案
1. 建立数据库连接,在数据库名称中引入变量。此时是无法连接到数据库的。
2. 建立转换,用JavaScript步骤设置上一步引用的变量,作为数据库名称中的日期部分。
3. 建立作业,在开始后首先调用上一步建立的转换,后续的转换或作业即可正常使用第1步建立的数据库连接。
三、验证步骤
1. 建立测试数据库表。
create database if not exists d_20161225;use d_20161225;drop table if exists t1;create table t1 (a int);insert into t1 values (101),(102);commit;
2. 新建一个转换,保存为set_dbname.ktr
3. 建立数据库连接如下:如图所示,在“数据库名称”中引用了一个变量${current_date},此时该变量还没有定义。如果测试数据库连接会报以下错误:
4. 将mydb设为共享。
5. 编辑set_dbname转换如下:
该转换由三个步骤组成,分别如下面三张图所示:
“生成记录”生成一条记录,在数据流中存储变量值。
“JavaScript”用来生成符合日期格式的字符串。
“设置变量”给变量赋值。
6. 新建一个转换如下,保存为table_output.ktr。
此转换只有两个步骤,用来测试数据库输出,分别如下面两张图所示:
“表输入”查询t1表的数据。
“文本文件输出”将表数据存储到一个txt文件中。
7. 新建一个作业,调用前面的建立的两个转换,保存为connect_db.kjb。
9. 查看输出文件的内容,如下图所示:
正确查询出表数据。
10. 此时再测试mydb数据库连接,可以成功。
四、总结
本实验在以下两点进行了尝试:
1. 使用JavaScript步骤给变量赋值,这种在Kettle中编程的方式,能够实现非常复杂的应用逻辑。
2. 数据库连接可以在运行时动态引用变量,这给实现统一的ETL调度提供了一种可能性。
先设置变量并赋值,然后在后面的步骤或作业项中使用变量,这是一种通用的方法。通过在Kettle中进行程序设计,大大增强了Kettle的功能。
参考:http://stackoverflow.com/questions/23491072/pass-db-connection-parameters-to-a-kettle-a-k-a-pdi-table-input-step-dynamically
0 0
- 使用Kettle连接动态分库
- 如何使用kettle连接hive和hive2
- VC++使用动态连接库
- Kettle使用
- kettle使用
- kettle使用中连接db2数据库问题和解决办法
- kettle 使用java脚本连接获取数据库中的值
- kettle 5.01 连接数据源
- kettle 连接mysql 失败
- kettle连接hadoop,hbase
- kettle连接hive
- kettle 连接 hdfs
- kettle 连接 phoenix
- kettle连接hbase
- kettle连接hive错误
- Kettle中的连接介绍
- kettle连接mysql出错
- kettle连接sqlserver问题
- AndroidStudio插件开发(进阶篇之Action机制)
- cogs740 [网络流24题]分配问题
- Leetcode N-Queens II
- hive 与 kylin的搭建
- Java扑克游戏(多人多牌数比较游戏)的实现
- 使用Kettle连接动态分库
- 利用opencv进行换脸
- AM3352笔记
- Libsvm与Liblinear源码剖析与封装(一)
- 常见性能优化策略的总结
- JSP运行原理与JSP隐式对象(9个)
- Edittext属性
- AUTOCAD常用快捷键
- AR+LBS学习资料汇总