Linux部署kettle并设置定时任务

一.安装Kettle

linux中使用kettle时首先需要jdk环境，这里就不概述linux中jdk的安装与配置了。

1.首先将kettle压缩包放入linux并解压

unzip data-integration.zip

kettle安装路径为:/root/Kettle9.3/data-integration

设置权限

chmod -R 755 /root/Kettle9.3/data-integration

2.执行命令查看kitchen版本

linux中执行作业时使用kitchen；执行转换使用pan

出现以下界面则表示安装成功

3.配置资源库

kettle在linux中会存在一个隐藏文件夹其中存放了一些配置文件。

cd ~

查看隐藏文件，会看到一个.kettle文件夹

ls -a

其中repositories.xml即为资源库配置文件。当你linux文件夹中不存在以上图片中的文件时。

便需要在windows中的C:\Users\电脑用户名称\.kettle 中将文件复制到linux即可。

repositories.xml配置如下所示:

<?xml version="1.0" encoding="UTF-8"?>
<repositories>
  <repository>    
    <id>KettleFileRepository</id>
    <name>YNSOURCE</name>
    <description>File repository</description>
    <is_default>true</is_default>
    <base_directory>/root/Kettle9.3/kettleData</base_directory>
    <read_only>N</read_only>
    <hides_hidden_files>N</hides_hidden_files>
  </repository>  
</repositories>      

base_directory：便是本地资源库地址(需要将作业和转换都放置到该目录下)

name：资源库名称(后续在执行作业时需要用到)

二.设置环境变量

设置环境变量: 在/etc/profile文件中添加以下配置：

/root/Kettle9.3/data-integration 为linux中kettle的安装路径，第一步中已表明

export KETTLE=/root/Kettle9.3/data-integration
export PATH=${KETTLE}:$PATH

然后查看设置的环境变量

echo $PATH

保存设置

source /etc/profile

三.执行作业

需要先创建一个作业并将其放入资源库地址中。(作业中包含的转换等同时放入)

如果存放数据库文件设置的话也需要放入。

执行语句:

./kitchen.sh -rep YNSOURCE -user admin -pass admin -file=/root/Kettle9.3/kettleData/ceshi.kjb

YNSOURCE：资源库名称

-user admin -pass admin：资源库的账号密码，未设置便使用该语句即可(默认账号密码)

/root/Kettle9.3/kettleData/ceshi.kjb：作业地址

回车执行即可。

当出现ERROR: Kitchen can't continue because the job couldn't be loaded.报错时不用理会等待继续执行即可。

四.设置定时任务

采用了crontab来进行定时任务的设置。

因此需要编写一个执行kettle作业的脚本

1.创建脚本

vim run_kettle_job.sh

2.编写脚本内容

#!/bin/bash
cd /root/Kettle9.3/data-integration
./kitchen.sh -rep YNSOURCE -user admin -pass admin -file=/root/Kettle9.3/kettleData/ceshi.kjb

3.设置权限

chmod -R 755 run_kettle_job.sh

4.打开crontab

crontab -e

5.设置定时任务

0 * * * * bash /root/Kettle9.3/run_kettle_job.sh

6.查看定时任务

crontab -l