Windows下Kettle-7.0集群安装

来源:互联网 发布:saas软件销售术语 编辑:程序博客网 时间:2024/03/28 19:10

1 配置子服务器
打开ketlle目录,找到pwd目录,里面有4个XML文件,分别是子服务器的配置文件和密码文件:
这里写图片描述

Carte-config-master-8080.xml是主服务器的配置文件。编辑该文件,根据情况修改其中的name\hostname\port\master等属性。Name是服务器的名称,hostname是主机名或者IP,port是端口号,Master表明是否是主服务器。此外,加上两行:

<username>cluster</username><password>cluster</password>

<master>Y<mater>之上

这里写图片描述

接着启动主服务器,在kettle目录中打开cmd窗口,执行carte localhost 8080:

这里写图片描述

至此,主服务器配置完成。

2 配置从服务器

剩下的四个为从服务器的配置文件。以carte-config-8081.xml为例。打开该文件:
这里写图片描述

发现里面都已经配置好了,所以我们就不用配置这些文件了,文件有和两层标签,标签表示该服务器要连接的主服务器的信息,保持与carte-config-master.xml一致。标签是从服务器的信息,按照需要更改即可。
启动子服务器:

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

3 建立集群

打开spoon.bat,新建一个转换。选择主对象树-子服务器,右键新键子服务器:

这里写图片描述

把xml中的信息复制过来,保证与xml中的信息一模一样。按照这种文件配置master,slave1-8081,slave2-8082,slave2-8083,slave2-8084。

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

在主对象树中选择kettle集群schemas,填写schema名称,端口、sokects缓存大小、sockets刷新时间间隔、socketts数据是否压缩。在右边点击选择子服务器,选择需要的子服务器。

Schema名称即集群的名称。

端口即集群对外服务的端口.

sockets缓存大小:sockets缓存

Sockets刷新时间间隔:达到多少行记录时刷新到子服务器。

Sockets数据是否压缩:如果网络状况差,则建议选择。网络良好时不用选择。

这里写图片描述

这里写图片描述

4 举例

配置完集群后,选择转换中的执步骤”排序记录“,右键该步骤,选择”集群”,选择刚才配置的集群。

这里写图片描述

选择然后会发现排序纪录多出”CX4”,表示有4个子服务器来执行。在一个集群中,主服务器负责任务分发、结果收集,转换任务由从服务器执行,故只有四个节点执行。

点击执行

这里写图片描述

查看执行结果

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

查看文集和数据库中的对比

这里写图片描述

这里写图片描述

在命令台中,查看服务器情况:

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

0 0
原创粉丝点击