kettle集群服务部署 博客分类: kettle脚本编辑 kettle
程序员文章站
2024-03-14 22:26:41
...
本实验使用的服务器:
127.0.0.1 lixuemei-PC
10.2.2.11 DBM011
10.4.2.12 DBM012
10.2.2.10 DBM010
三、carte相关配置文件说明
本实验开启的四个carte服务,其中一台为Master另外三台为Slave,来实现在Kettle的Spoon中对mysql数据库中数据表读取后,以集群方式来执行排序的过程。
Carte的配置文件所在路径:F:\BDE\kettle\data-integration\pwd
(1)主服务器(carte-config-master-8080.xml)的配置内容为:
<slaveserver>
<name>master1</name>
<hostname>lixuemei-PC</hostname>
<port>8080</port>
<master>Y</master>
</slaveserver>
其中<hostname>lixuemei-PC</hostname>表示以本机作为主服务器。在本机的C:\Windows\System32\drivers\etc\hosts 文件中添加内容:127.0.0.1 lixuemei-PC。相应的其他三个服务器上的hosts文件中也添加内容:10.200.4.163lixuemei-PC。
(2)子服务器(carte-config-8082.xml)的配置内容为:
<masters>
<slaveserver>
<name>master1</name>
<hostname>lixuemei-PC</hostname>
<port>8080</port>
<username>cluster</username>
<password>cluster</password>
<master>Y</master>
</slaveserver>
</masters>
<report_to_masters>Y</report_to_masters>
<slaveserver>
<name>slave2-8082</name>
<hostname>10.2.2.11</hostname>
<port>8082</port>
<username>cluster</username>
<password>cluster</password>
<master>N</master>
</slaveserver>
其中<hostname>10.2.2.11</hostname>为子服务器的ip。
同样方式设定其他自服务器(carte-config-8083.xml、carte-config-8085.xml)的配置内容。把更改好的windows下的pwd文件夹分别覆盖其他三个服务器上的相应文件夹。
四、carte服务开启
对于Windows运行:Carte.batIP address port
对于Linux运行:carte.shIP address port
图1所示启动windows上的主节点,并已启动成功。
127.0.0.1 lixuemei-PC
10.2.2.11 DBM011
10.4.2.12 DBM012
10.2.2.10 DBM010
三、carte相关配置文件说明
本实验开启的四个carte服务,其中一台为Master另外三台为Slave,来实现在Kettle的Spoon中对mysql数据库中数据表读取后,以集群方式来执行排序的过程。
Carte的配置文件所在路径:F:\BDE\kettle\data-integration\pwd
(1)主服务器(carte-config-master-8080.xml)的配置内容为:
<slaveserver>
<name>master1</name>
<hostname>lixuemei-PC</hostname>
<port>8080</port>
<master>Y</master>
</slaveserver>
其中<hostname>lixuemei-PC</hostname>表示以本机作为主服务器。在本机的C:\Windows\System32\drivers\etc\hosts 文件中添加内容:127.0.0.1 lixuemei-PC。相应的其他三个服务器上的hosts文件中也添加内容:10.200.4.163lixuemei-PC。
(2)子服务器(carte-config-8082.xml)的配置内容为:
<masters>
<slaveserver>
<name>master1</name>
<hostname>lixuemei-PC</hostname>
<port>8080</port>
<username>cluster</username>
<password>cluster</password>
<master>Y</master>
</slaveserver>
</masters>
<report_to_masters>Y</report_to_masters>
<slaveserver>
<name>slave2-8082</name>
<hostname>10.2.2.11</hostname>
<port>8082</port>
<username>cluster</username>
<password>cluster</password>
<master>N</master>
</slaveserver>
其中<hostname>10.2.2.11</hostname>为子服务器的ip。
同样方式设定其他自服务器(carte-config-8083.xml、carte-config-8085.xml)的配置内容。把更改好的windows下的pwd文件夹分别覆盖其他三个服务器上的相应文件夹。
四、carte服务开启
对于Windows运行:Carte.batIP address port
对于Linux运行:carte.shIP address port
图1所示启动windows上的主节点,并已启动成功。