kettle 的命令调用
来源:互联网 发布:vue2.0源码分析 编辑:程序博客网 时间:2024/05/29 16:17
Kettle是一个开源的ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程)项目,项目名很有意思,水壶。按项目负责人Matt的说法:把各种数据放到一个壶里,然后呢,以一种你希望的格式流出。Kettle包括三大块:
Spoon——转换/工作(transform/job)设计工具 (GUI方式)
Kitchen——工作(job)执行器 (命令行方式)
Span——转换(trasform)执行器 (命令行方式)
Kettle是一款国外开源的etl工具,纯java编写,绿色无需安装,数据抽取高
效稳定。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。
因为最近工作需要所以不得不研究下调用kitchen.bat后面接参数的问题。
经过一段时间的研究终于知道传参的方法了。
如下:
kitchen.bat 后面可以是-也可以是/然后再加options
Options:
/rep : Repository name
/user : Repository username
/pass : Repository password
/job : The name of the job to launch
/dir : The directory (dont forget the leading /)
/file : The filename (Job XML) to launch
/level : The logging level (Basic, Detailed, Debug, Rowlevel, Error, Nothing)
/logfile : The logging file to write to
/listdir : List the directories in the repository
/listjobs : List the jobs in the specified directory
/listrep : List the available repositories
/norep : Do not log into the repository
/version : show the version, revision and build date
/param : Set a named parameter <NAME>=<VALUE>. For example -param:FOO=bar
/listparam : List information concerning the defined parameters in the specified job.
/export : Exports all linked resources of the specified job. The argument is the name of a ZIP
file.
而options 后面可以是=也可以是:也可以是空格
kitchen.bat /file d:\ 或者 -file=D:\ 或者/file:D:\等等都可以。。。
定时执行的代码参考如下【原创】,可以执行的实例
1、windows下的执行方式:
建立一个mysql.dat的文件,里面写入
cd D:/Kettle-3.0.2
kitchen.bat /norep -file=D:/kettledata/mysal2orcle.kjb >> kitchen_%date:~0,10%.log
exit
保存文件。
解释一下上面的语句
cd D:/Kettle-3.0.2 这句的含义是跳转到kettle的根目录,因为kitchen.bat 文件在根目录下
kitchen.bat /norep -file=D:/kettledata/mysal2orcle.kjb >> kitchen_%date:~0,10%.log
上面的含义是,使用kitchen.bat 命令来执行job文件,job文件的存放路径是D:/kettledata/mysal2orcle.kjb,并且将执行的结果输出到 kitchen_%date:~0,10%.log文件中。
2、linux下的书写格式:
创建mysqldb.sh
内容如下
cd /home/Kettle-3.0.2 这句的含义是跳转到kettle的根目录,因为kitchen.bat 文件在根目录下
./kitchen.sh -file=/home/etl/mysql.kjb >> /home/etl/log/kettle.log
然后这个文件在crontab中去执行
注意:linux执行shell过程中,由于linux对权限要求很严格,所以kitchen.sh必须有可执行的权限。前面必须加上./,也就是./kitchen.sh才能执行,否则会提示找不到此命令。
kitchen.bat的使用方法:
Kitchen.bat /file:D:\job_name.kjb /level:Basic>>D:\etl.log
使用心得:
1.file和level都是前面有‘/’,后面有‘:’,任何一个都不能丢。
2.此语句要在一行上完成,中间不能有换行符之类的。
博主从昨天就开始调试的几个bat文件,始终不能在我指定的文件里面记日志,一直在dos界面记录,苦思不得其果,偶然的一个把bat文件全屏之后,发现原来语句被换行了,修改到同一行之后可以顺利的运行。
3.此语句后面不能接任何语句,就算你在bat文件里面添加了别的语句,也不会得到执行,查阅了好多资料,没有发现解决办法,逼不得已,我只能把job做成了一个一个单独的bat文件,这个有点儿杯具。
4.JDK或者JRE很重要。
博主因为服务器上没有配置java环境,吃了不少苦。
先是没装java环境,无法运行kettle;接着装好了java环境之后,job和转换可以正常运行,但是kitchen.bat语句不能正常运行,又查阅了一堆资料后发现,原来是环境变量的问题,设置了环境变量之后总算可以正常运行了。
set "Ymd=%date:~,4%%date:~5,2%%date:~8,2%%time:~0,2%%time:~3,2%%time:~6,2%"
D:
cd D:\DEV\KETTLE
echo EXECUTE_TIME:%Ymd%>D:\DEV\KETTLE\zijinjob\log.txt
call Kitchen.bat /norep /file=d:\dev\kettle\zijinjob\emp_capital_ri.kjb >> D:\DEV\KETTLE\zijinjob\log.txt
例子:从一个文件夹中拷贝一个文件到另一个文件夹中,并每次添加上一个时间后缀;
set ss=%m:1=0% 使m中的1用0替换
set ss=%m:12 3=0% 使m中的12 3用0替换
- kettle 的命令调用
- Kettle循环调用的实现
- api调用KETTLE生成的ktr
- 调用kettle api传参时不赋值的解决方法
- KETTLE集群的配置及调用
- 通过 脚本执行 kettle 的作业 命令
- Kettle java调用
- kettle 调用存储过程
- kettle调用存储过程
- java调用Kettle总结
- Kettle java调用
- Kettle 调用存储过程
- kettle调用webservice
- java调用MySQL的kettle资源库时的编码问题
- 通过java代码来调用kettle的简单实现
- 解决KETTLE调用http传输中文参数的问题
- Kettle中调用用户自定义的jar包
- kettle一些命令
- 日本語 window.close()メッセージを表示しないように
- 分别使用FlyJSONP和JQuery实现跨域的异步请求
- IMPLEMENT_DYNCREATE与DECLARE_DYNCREATE
- C++编程技能考题
- 少见的几种动画效果
- kettle 的命令调用
- WinCE下Touch Panel驱动介绍
- 兼容 IE6、IE7、FF 的“加入收藏”
- 如何配置JVM的GC参数
- 如何编写优质的API文档
- 配置svn的问题,
- Java反射机制
- 定位EXC_BAD_ACCESS错误 设置NSZombieEnabled
- silverlight BackgroundWorker耗时操作会导致用户界面停止响应