kettle常用组件

一、转换

1.表输入

【功能描述】

这一步常常用来利用连接和SQL，从数据库中读取信息。自动生成基本的SQL 语句。

【操作步骤或操作内容】

功能1：指定选项

 

  
示例：指定如下SQL语句： 

SELECT * FROM userinfo WHERE id = 1

注：1、日期可以从“获取系统信息”步骤类型中获取。

2、在增量抽取过程中一般获取目标表更新时间的最大值作为参数传入。

2.表输出

【功能描述】

这个步骤将数据导入数据库表。

【操作步骤或操作内容】

功能1：指定选项

  

  

功能2：字段值与数据流对应

  

3.插入/更新

【功能描述】

这个步骤利用查询关键字在表中搜索行。如果行没有找到，就插入行。如果能被找到，并且要被更新的字段没有任何改变，就什么也不做。如果有不同，行就会被更新。。

【操作步骤或操作内容】

功能1：指定选项

  

  

PS：此组件已加入缓存，适用条件查询表数据量小于300w

4.唯一行(哈希值)

【功能描述】

这个步骤允许你去除关键字重复的记录，要求过来的数据是已经排序的。

【操作步骤或操作内容】

功能1：指定选项

  

  

5.字段选择

【功能描述】

这个步骤常常用来：选择字段、重命名字段、指定字段的长度或者精度。

下面是三个不同标签的功能：

 1、选择和修改：指定需要流到输出流中的字段的精确顺序和名称。

2、删除：指定必须从输出流中删除的字段。

3、元数据：修改元数据字段的名称、类型、长度和精度。

【操作步骤或操作内容】

功能1：指定选项

  

  

6.执行SQL脚本

【功能描述】

在这个步骤中你可以执行SQL脚本，或者在转换初始化的时候执行，或者在步骤的每一个输入行执行。可以在SQL 脚本中使用参数。

【操作步骤或操作内容】

功能1：指定选项

 

  

7.JavaScript代码

【功能描述】

这个步骤允许你用JavaScript 语言做复杂的运算。

【操作步骤或操作内容】

功能1：指定选项

  

Java脚本功能

针对可用的脚本、函数、输入字段和输出字段，提供一个树菜单浏览。

脚本

这个区域为你提供脚本的编辑。你可以插入函数、常量、输入字段等等。

字段

字段表包含了脚本变量的列表，其中包括元数据。

获取变量

获取脚本中的变量列表。

测试脚本

测试脚本的语法。

二、作业

1.Start（开始）

【功能描述】

Start 是任务执行的入口，首先必须是任务可以执行。只有无条件的任务条目可以从Start 入口连接。

【操作步骤或操作内容】

功能1：调度方式设置

指定一个作业的调度时间频率、调度方式等属性，如下所示：

  

  

2.转换

【功能描述】

用于执行一个先前定义的转换。

【操作步骤或操作内容】

功能1：指定选项

  

  

3.作业

【功能描述】

用于执行一个先前定义的作业。

【操作步骤或操作内容】

功能1：指定选项