ETL之kettle使用总结：（批量、含常量）csv入库
本文实验的ktr文件：ktr文件
1.概述
18年开工第一天，做下Kettle的使用总结。
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
关于kettle的下载及安装这里不赘述，此处仅介绍工作过程中最常见的三种使用场景：
- 单个csv文件入库；
- 增加一个常量字段的csv文件入库；
- 批量csv文件入库。
2.具体操作
2.1单个csv文件入库
这个是最简单的操作，下面我们通过实例进行说明：
2.1.1首先我们在数据库中建立需要入库的表ljb_test_kettle
create table ljb_test_kettle
(
session_id varchar2(50),
line_num varchar(4),
extension_id varchar2(10),
similar_grade number
);这里一定要注意字段的类型，多数情况下的报错都是由字段类型不匹配或长度不够等引起的。
2.1.2打开spoon
双击kettle解压文件中的spoon.bat（windows是spoon.bat，Linux和Mac是spoon.sh）。
在主对象树右击转换->新建，建立新的转换。并保存Ctrl+S，命名，这里随便写个。如下图：
2.1.3 创建数据库连接DB连接
右键图中DB连接-新建连接，填上相应的参数，除了数据表空间和索引表空间之外，其余均要填写。如下图：
填写完成，我们可以点击测试，如果没问题则表示成功，如果错误请根据具体信息解决（网络问题、jar包缺少、配置错误等）。
2.1.4 创建输入输出对象
点击核心对象树，分别找到输入-CSV文件输入，输出-表输出，并直接拖动到转换的图形视图（下图中的2视图）中。
2.1.5创建连接
按住Shift键，依次单击输入对象和输出对象，会在两者之间生成一个箭头，并选择主输出步骤。如下：
2.1.6 输入输出对象参数设置
通过双击两个对象，可以进行相关参数设置。
2.1.6.1 输入对象参数配置
步骤名称：可以使用默认，建议根据工作要求进行规范命名。
文件名：通过浏览选择对应需要导入的文件。
列分隔符：因为是CSV文件，所以采用默认的英文逗号。
对于字段这一列，我们可以自动获取字段，操作方式：
获取字段-取消，注意弹出框的时候一定选取消，不然相应的格式之类的会自动帮你填写，但这些往往我们并不需要。如下图：
我们可以通过预览查看是否是我们想要的结果。
2.1.6.2 输出对象参数配置
步骤名称：可以采用默认，推荐采用结果表名称。
数据库连接：采用之前创建的连接，如果没有创建，可在这里点击新建按钮进行创建。
目标表：数据库中的表名。
勾选指定数据库字段。
如果我们不勾选该选项的话，在我们选择数据库字段的时候，如下两个按钮就是灰色的，无法点击，如下图：
点击获取字段。然后观察顺序是否无误，确定。
2.1.7 运行转换
点击三角符号，运行这个转换。
并查看日志。
去数据库中查看数据，至此已完成。
2.2 增加新的常量字段的csv文件入库
我们有如下需求，三个csv文件入库，并添加一个flag字段，对于第一个csv文件，flag为0，第二个flag为1，第三个flag为2。
我们可以通过添加自定义常量的方式实现。
我们把刚才的对象复制一份，并点击连接箭头，可以看到，会变成灰色，这样，当我们运行的时候，灰色的转换就会被跳过。
2.2.1 增加常量
转换-增加常量
建立如下图的转换。
同样的我们建立测试表：
create table ljb_test_kettle_final
(
session_id varchar2(50),
line_num varchar(4),
extension_id varchar2(10),
similar_grade number,
flag number
);2.2.2 配置常量
双加增加常量，并进行下图所示配置。
2.2.3 配置输出对象
双击输出对象，更新配置，重新获取字段：
2.2.1 运行转换
运行转换，第二个第三个同理，只需要更改对象的flag值即可。
2.3 批量入库csv文件
有如下需求，我们需要把下图中的所有csv文件入库，这些csv文件字段类型完全一样。
这时，我们需要采用通配符进行批量入库。
2.3.1 首先把之前的转换全部点击为灰色。
2.3.2 修改输入对象
批量输入与单个输入不同点在于输入对象变为了文本文件输入。
输入-文本文件输入。
如下图：
2.3.3 配置输入对象
2.3.3.1 配置文件项
浏览到目录，然后增加。
填写通配符：采用如下写法可以成功。
.*\.csv$如下图：
2.3.3.2 配置内容项
分隔符，英文逗号。
格式：Unix。
2.3.3.3 配置字段项
获取字段-取消
2.3.3.4 预览记录
预览记录没问题则表示配置成功。
2.3.4 运行转换
运行该转换即可。