我正在使用 Amazon EMR 和 Hive 0.11。我正在尝试创建一个 Hive UDF，它将从一个 UDF 调用返回多个列。
例如，我想调用如下所示的 UDF，并返回几个（命名的）列。
SELECT get_data(columnname) FROM table;
我很难找到有关此操作的文档，但听说如果使用通用 UDF，这是可能的。有谁知道评估（）方法需要返回什么才能使其工作？
我只使用GenericUDTF。在你编写GenericUDTF的udf扩展之后，你的udtf应该实现两个重要的方法：初始化和评估。
- 在初始化时，您可以检查参数类型并设置返回对象类型。
例如，使用 ObjectInspectorFactory.getStandardStructObjectInspector，您可以使用 structFieldNames 参数中的名称和 structFieldObjectInspectors 中的列值类型指定输出列。输出列的大小是 structFieldNames 列表的大小。
有两种类型系统：java和hadoop。 java的ObjectInspector以javaXXObjectInspector开头，否则以writableXXObjectInspector开头。
- 流程上和普通的udf类似。除此之外，您应该使用从initialize()保存的ObjectInspector将Object转换为具体值，例如String，Integer等。调用forward函数输出一行。在行对象forwardColObj 中，您可以指定列对象。
下面是简单的例子：
public class UDFExtractDomainMethod extends GenericUDTF {
private static final Integer OUT_COLS = 2;
//the output columns size
private transient Object forwardColObj[] = new Object[OUT_COLS];
private transient ObjectInspector[] inputOIs;
/**
*
* @param argOIs check the argument is valid.
* @return the output column structure.
* @throws UDFArgumentException
*/
@Override
public StructObjectInspector initialize(ObjectInspector[] argOIs) throws UDFArgumentException {
if (argOIs.length != 1 || argOIs[0].getCategory() != ObjectInspector.Category.PRIMITIVE
|| !argOIs[0].getTypeName().equals(serdeConstants.STRING_TYPE_NAME)) {
throw new UDFArgumentException("split_url only take one argument with type of string");
}
inputOIs = argOIs;
List<String> outFieldNames = new ArrayList<String>();
List<ObjectInspector> outFieldOIs = new ArrayList<ObjectInspector>();
outFieldNames.add("host");
outFieldNames.add("method");
outFieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
//writableStringObjectInspector correspond to hadoop.io.Text
outFieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
return ObjectInspectorFactory.getStandardStructObjectInspector(outFieldNames, outFieldOIs);
}
@Override
public void process(Object[] objects) throws HiveException {
try {
//need OI to convert data type to get java type
String inUrl = ((StringObjectInspector)inputOIs[0]).getPrimitiveJavaObject(objects[0]);
URI uri = new URI(inUrl);
forwardColObj[0] = uri.getHost();
forwardColObj[1] = uri.getRawPath();
//output a row with two column
forward(forwardColObj);
} catch (URISyntaxException e) {
e.printStackTrace();
}
}
@Override
public void close() throws HiveException {
}
}
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
