Kettle Carte简介

来源:互联网 发布:mac日记本软件 编辑:程序博客网 时间:2024/05/22 00:05

对象在内存中保留的时间,单位为分钟。超过指定时间的这些对象将被清除,从而被Java GC回收,防止Carte占用过多的内存空间。

【注意】 建议生产环境适当地配置该值,以便Java GC能够回收多余的对象占用空间,减少系统内存使用。防止OOM。

2.3.7 (*) repository节点

示例:

<repository>  <name>Repository Name (id)</name>  <username>username</username>  <password>password</password></repository>

这个配置在Kettle5+版本才支持,配置该选项以便Carte能够连接到资源库,执行资源库里面的转换或者作业。请求的Servlet为 runJob 和 runTrans,使用示例如下:

(1) runJob

http://hostname:port/kettle/runJob/?job=/path/to/jobname&level=DebugLevel&ParameterName=ParameterValue*

(2) runTrans

http://hostname:port/kettle/runTrans/?trans=/path/to/transname&level=DebugLevel&ParameterName=ParameterValue*

3. Carte集群

Kettle使用Carte来部署集群,Kettle集群概念有两个,普通集群和动态集群,集群的使用需要在Spoon界面中配置。集群中有两个角色,master和slave,不管是普通集群还是动态集群,master只能有一个。

3.1 普通集群

普通集群在使用前就要确定哪几台Carte服务来组成一个集群,并且通过指定其中一台Carte服务为master。

3.2 动态集群

而动态集群,只要指定一台Carte作为master,其他Carte slave server不需要指定,而是通过在Carte启动时的配置文件参数 <report_to_masters> 来指定这台Carte要接入哪些集群。因为其规模可以动态扩展或者缩小,所以称为动态集群。动态集群更加迎合当前云计算动态利用计算资源的概念。

【注意】 如果一个作业的某个转换步骤指定在一个动态集群里面运行,那么当运行过程中集群再增加一台Carte服务,运行中的转换步骤也不用使用其计算资源,而如果当运行过程中集群某台正在参与转换步骤计算的Carte服务被意外停止,将会造成这个作业运行失败。

  • kettle 9

0 0
原创粉丝点击