详解kettle之UserDefinedJavaClass步骤(三)
详解User Defined Java Class步骤(三) kettle中的user defined java class步骤,也称UDJC步骤,从4.0版本就有,功能非常强大,无所不能;可以在其中写任意代码,却不影响效率。本文将详细介绍在不同场景中用示例展示如果使用该步骤,由于内容非常多,便于
详解User Defined Java Class步骤(三)
kettle中的“user defined java class”步骤,也称UDJC步骤,从4.0版本就有,功能非常强大,无所不能;可以在其中写任意代码,却不影响效率。本文将详细介绍在不同场景中用示例展示如果使用该步骤,由于内容非常多,便于阅读方便,把内容分成三部分,请完整看完全部内容,示例代码在这里下载.
如果没有看第二部分,请先访问第二部分。
错误处理
udjc步骤支持kettle的错误处理特性,从udjc步骤拖动一个连接到空步骤,接收错误数据行,右击udjc步骤,选择”Defined Error Handing”(定义错误处理)。弹出界面可以配置错误步骤接收错误数据,其他一些选项和字段名称可以配置扩展错误信息,在udjc步骤中,通过调用putError()方法把错误数据转发的错误处理步骤。
public boolean processRow(StepMetaInterfacesmi, StepDataInterface sdi) throws KettleException
{
Object[]r = getRow();
if(r == null) {
setOutputDone();
returnfalse;
}
if (first){
first = false;
}
r= createOutputRow(r, data.outputRowMeta.size());
// Get the value from an input field
Long numerator = get(Fields.In, "numerator").getInteger(r);
Long denominator = get(Fields.In,"denominator").getInteger(r);
//avoid dividing by 0
if(denominator == 0){
//putErro is declared as follows:
//public void putError(RowMetaInterface rowMeta, Object[] row, long nrErrors,String errorDescriptions, String fieldNames, String errorCodes)
putError(data.outputRowMeta,r, 1, "Denominator must be different from 0","denominator", "DIV_0");
//get on with the next line
returntrue;
}
longinteger_division = numerator / denominator;
longremainder = numerator % denominator;
//write output fields
get(Fields.Out, "integer_division").setValue(r,Long.valueOf(integer_division));
get(Fields.Out, "remainder").setValue(r,Long.valueOf(remainder));
//Send the row on to the next step.
putRow(data.outputRowMeta, r);
returntrue;
}
访问数据库连接
如果udjc步骤需要实现一些和数据库相关的功能,那么可以使用kettle功能获取其数据库连接。下面示例中使用了kettle中定义的“TestDB”数据库连接。输入行有一个“table_name”字段,该步骤检查输入的表是否存在,并把结果写入的输出结果中。
如果需要在udjc步骤中实现一些和数据库相关的重要工作,最好对源码中的org.pentaho.di.core.database包内容比较熟悉,也可以查看和DB相关的步骤和示例代码,了解如何使用database包相关类的使用。
importorg.pentaho.di.core.database.Database;
importjava.util.List;
importjava.util.Arrays;
privateDatabase db = null;
privateFieldHelper outputField = null;
private FieldHelpertableField = null;
privateList existingTables = null;
publicboolean processRow(StepMetaInterface smi, StepDataInterface sdi) throwsKettleException
{
Object[] r = getRow();
if (r == null) {
setOutputDone();
return false;
}
if (first){
first = false;
existingTables =Arrays.asList(db.getTablenames());
tableField = get(Fields.In,"table_name");
outputField = get(Fields.Out,"table_exists");
}
r = createOutputRow(r,data.outputRowMeta.size());
if (existingTables.contains(tableField.getString(r))){
outputField.setValue(r, Long.valueOf(1));
}
else{
outputField.setValue(r,Long.valueOf(0));
}
// Send the row on to the next step.
putRow(data.outputRowMeta, r);
return true;
}
public booleaninit(StepMetaInterface stepMetaInterface, StepDataInterface stepDataInterface)
{
if (parent.initImpl(stepMetaInterface,stepDataInterface)){
try{
db = newDatabase(this.parent, getTransMeta().findDatabase("TestDB"));
db.shareVariablesWith(this.parent);
db.connect();
return true;
}
catch(KettleDatabaseException e){
logError("Errorconnecting to TestDB: "+ e.getMessage());
setErrors(1);
stopAll();
}
}
return false;
}
publicvoid dispose(StepMetaInterface smi, StepDataInterface sdi)
{
if (db != null) {
db.disconnect();
}
parent.disposeImpl(smi, sdi);
}
示例udjc步骤中的重写了init()和dispose()方法,分别实现创建数据库连接和完成后断开连接。在转换初始化的时候,第一次执行processRow()之前调用init()方法。转换执行完成之后调用dispose()方法。如果有首先要初始化的工作以及一些清理资源代码,就考虑分别放在init和dispose方法中。示例转换的名称:db_access.ktr。
实现输入步骤
有时udjc步骤本身就是输入步骤,这时其自己生成输入行,而无需其他的输入行步骤。下面示例展示生成java的系统属性列表作为输入行。
代码如下:
import java.util.*;
private ArrayList keys = null;
private int idx = 0;
public boolean processRow(StepMetaInterfacesmi, StepDataInterface sdi) throws KettleException
{
if(first){
first= false;
//get the system property names, output is done one at a time later
keys= Collections.list(System.getProperties().propertyNames());
idx= 0;
}
if(idx >= keys.size()) {
setOutputDone();
returnfalse;
}
//create a row
Object[]r = RowDataUtil.allocateRowData(data.outputRowMeta.size());
// Set key and value in a new output row
get(Fields.Out, "key").setValue(r, keys.get(idx));
get(Fields.Out,"value").setValue(r,System.getProperties().get(keys.get(idx)));
idx++;
//Send the row on to the next step.
putRow(data.outputRowMeta, r);
returntrue;
}
在代码中没有调用getRow方法获取输入行,而是第一次调用processRow方法是初始化java系统属性列表。这些属性被逐个写入到输出流中。因为没有输入行,代码通过RowDataUtil.allocateRowData()方法创建,然后设置字段值并传输到下一步骤中。示例转换的名称input_step.ktr。
总结
本文详细说明了udjc步骤在不同场景的使用方式。如果你需要自定义处理功能,但是javascript步骤实现不灵活或性能不够,这时可以考虑使用udjc步骤代替。为了学习更多的内容,我们也可以查看sample目录下的关于udjc的示例。