kettle部署 博客分类： 大数据云计算 kettle

1.将jmbi sql先上生产环境, 参考附件jmbi.sql

2.kettle安装部署
选好目标机器，装好jdk1.8 然后登录测试环境192.168.1.142，复制kettle安装文件，job，shell脚本
scp -r /d1/usr/kettle root@目标IP:/d1/usr/kettle
scp -r /root/.kettle root@目标IP:/root/.kettle
scp -r /root/.pentaho root@目标IP:/root/.pentaho

修改.kettle文件夹下的kettle.properties配置为生产环境DB连接，hdfs
修改kettle安装目录下job文件夹下的所有转换任务.ktr文件中hdfs://1@192.168.1.141:9000改为生产环境
也可以将附件中的job上传替换原始job


安装kettle集群上增加任务调度
vim /etc/crontab
0 0 * * *  root sh /d1/usr/kettle/ktlsh/jdt_custom.sh >> /d1/usr/kettle/ktllog/jdt_custom_log
5 0 * * *  root sh /d1/usr/kettle/ktlsh/jdt_base_ciq.sh >> /d1/usr/kettle/ktllog/jdt_baseciq_log
10 0 * * *  root sh /d1/usr/kettle/ktlsh/jdt_view.sh >> /d1/usr/kettle/ktllog/jdt_view_log
15 0 * * *  root sh /d1/usr/kettle/ktlsh/jdt_increase.sh >> /d1/usr/kettle/ktllog/jdt_increase_log


3.hbase建表,参考附件jmbi_hbase.txt


4.MR部署
将jmframework-1.0.1.jar拷贝到hadoop集群里面所有的安装目录 /d1/usr/hadoop/share/hadoop/common/
其余的jar包拷贝到/d1/dailytask/到hadoop master（10.88.13.16）机器上，比如测试环境的192.168.1.141， 只是这一台就可以了
jmbitaskmr.sh 到hadoop master（10.88.13.16）上，
任务调度
vim /etc/crontab
50 2 * * * root sh /d1/jmbitaskmr.sh


5.service部署,运维常规部署


6.web部署，运维常规部署

7.数据采集spider常规部署，增加了短信提醒功能