ETL工具—kettle使用之一
来源:互联网 发布:centos配置本地yum源 编辑:程序博客网 时间:2024/04/29 05:35
需求:
你有没有遇到过不同数据库之间数据对接的需求,比如:mysql数据库里的数据要保存到oracle数据库里,或者是excel里的数据要保存到数据库里,或者是数据库的数据要定时的保存到文件中等等数据对接的问题。下面就开始介绍一款软件来帮助我们实现各种数据对接的问题,这将是一个系列的博客,这篇只是个开始,后面将陆续的通过实例来讲解软件如何使用,当然不可能面面俱到,很多功能还需要我们不断的挖掘和完善。
工具介绍:
说了这么多这个软件到底是什么呢?就是一个我们中文意思是水壶的英文单词kettle,当然它的原意不是这样的,它是“Kettle E.T.T.L. Envirnonment”只取首字母的缩写,这意味着它被设计用来帮助你实现你的ETTL需要:抽取、转换、装入和加载数据。Kettle也叫 PDI,在2006年 Kettle 加入了开源的 BI 组织 Pentaho, 正式命名为PDI,英文全称为Pentaho Data Integeration。这个工具也正如我们中文翻译为水壶那样,它希望把所有需要的数据放到一个水壶里,然后以流的方式流出来。
功能介绍:
kettle可以创建两种脚本文件,一种是transformation(*.ktr),就是任务,比如抽取数据,合并修改后再存入数据库什么的。 另一种是job(*.kjb),就是用来调用transformation的,类似oracle里的job调用存储过程。如下面的图分别是transformation脚本和job脚本。
上面两张图是两种脚本,通过第二种脚本调用第一种脚本我们可以配置定时任务,可以指定时间让系统自动执行数据抓取以及转换,是不是很强大的工具,不着急,后面才是真正的开始,看看它到底能有多大本事。
运行环境:
要运行kettle工具必须安装Sun公司的JAVA运行环境,kettle 7.X需要运行java 1.8或者更高版本,Kettle的下载可以到http://kettle.pentaho.org/取得最新版本。该工具不需要安装,安装好java环境后,在操作系统环境变量path中配置jre路径,把kettle工具压缩包解压后可直接使用,由于它是重java编写,所以它可以跨平台使用。
如何启动:
Spoon是一个图形用户界面,它允许你运行转换或者任务,其中转换是用Pan工具来运行,任务是用Kitchen来运行。Pan是一个数据转换引擎,它可以执行很多功能,例如:从不同的数据源读取、操作和写入数据。Kitchen是一个可以运行利用XML或数据资源库描述的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。
下面是在不同的平台上运行Spoon所支持的脚本:
Spoon.bat:在windows 平台运行Spoon。
Spoon.sh:在 Linux、Apple OSX、Solaris 平台运行 Spoon。
这篇就介绍到这里,下一篇我们进入实例讲解…
参考来源:https://yq.aliyun.com/articles/38089?spm=5176.100240.searchblog.22.1lAEos
- ETL工具—kettle使用之一
- ETL工具—kettle使用之二
- ETL工具—kettle使用之三
- ETL kettle 工具使用例子
- ETL工具kettle基本使用
- 开源ETL 工具 Kettle使用
- etl工具kettle学习——下载安装使用
- ETL工具之——kettle使用简介
- ETL工具Kettle的基本使用
- 关于ETL 工具 kettle
- 开源ETL工具 Kettle
- ETL工具 kettle
- etl工具kettle
- 关于使用ETL工具Kettle的简单介绍(一)
- 关于使用ETL工具Kettle的简单介绍(二)
- 关于使用ETL工具Kettle的简单介绍(三)
- 开源ETL工具--Kettle的简易使用实例
- ETL开源工具kettle的基本使用
- 北大和人大两年整理出来的阅读书单【无论你是什么专业】
- Java面试题Day2
- db2相关操作知识点积累及WINDOWS环境DB2连接远程数据库实例
- Fiori学习笔记
- 日知录2017第二届企业存储峰会日程新鲜出炉!
- ETL工具—kettle使用之一
- jsch实现sftp服务器的文件时上传下载
- Pod 依赖库建立
- Java开发代码规范之编程规约(四)——OOP规约
- mysql的root密码的变更-进程的杀掉
- clang: error: no such file or directory: libcocos2d iOS.a
- vue-devtools安装
- SpringBoot整合quartz(支持多个任务和job支持spring管理的对象)
- IPC机制系列之三 Android中的IPC方式